Spark-Shell编程

Spark-Shell编程

进入Spark-shell模式

bin/spark-shell --master local[6]  #本地运行

WordCount案例

  • 读取文件

    val rdd1=sc.textFile("file:///export/wordcount.txt")	#读取本地文件
    val rdd1=sc.textFile("hdfs://node01:8020/wordcount.txt")	#读取hdfs文件
    
  • 分割展平

    val rdd2=rdd1.flatMap(item=>item.split(" "))
    
  • 赋予词频

    val rdd3=rdd2.map(item=>(item,1))
    
  • reduce聚合

    val rdd4=rdd3.reduceByKey((curr,agg)=>curr+agg)
    
  • 数据展示

    rdd4.collect()
    

Spark-Shell编程

上一篇:LeetCode-【前缀和】解题技巧


下一篇:力扣---2020.9.14