1.广播变量是什么
普通变量每个任务都会得到这些变量的一份副本,广播变量是只读变量,打破了这一限制
2.使用
调用要使用.value来调用
object spark03 {
def main(args: Array[String]): Unit = {
val conf = new SparkConf();
conf.setAppName("broadcast")
conf.setMaster("local")
val list=List("hello hadoop")
val context: SparkContext = new SparkContext(conf)
val value: RDD[String] = context.textFile("D:\\BigData\\spark\\filterWC\\src\\main\\data\\word")
val broadcast: Broadcast[List[String]] = context.broadcast(list)
value.filter(x=>broadcast.value.contains(x)).foreach(println)
}
}