spark(五)-----广播变量

1.广播变量是什么
普通变量每个任务都会得到这些变量的一份副本,广播变量是只读变量,打破了这一限制
2.使用
调用要使用.value来调用

object spark03 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf();
    conf.setAppName("broadcast")
    conf.setMaster("local")
    val list=List("hello hadoop")
    val context: SparkContext = new SparkContext(conf)
    val value: RDD[String] = context.textFile("D:\\BigData\\spark\\filterWC\\src\\main\\data\\word")
    val broadcast: Broadcast[List[String]] = context.broadcast(list)
    value.filter(x=>broadcast.value.contains(x)).foreach(println)
  }
}
上一篇:httpPost接口服务器接收数据和传输数据代码范例


下一篇:Broadcast