val rdd = sc.textFile("hdfs://hbase11:9000/sparkTsData/ipsoftware/wincc").map{ line => {val regex(ip,software) = line; (ip,software)}}
val rdd2 = sc.textFile("hdfs://hbase11:9000/sparkTsData/ipsoftware/websense").map{ line => {val regex(ip,software) = line; (ip,software)}}
val rdd_un = rdd union rdd2
rdd_un.count
val grouped_rdd = rdd_un.groupByKey
grouped_rdd.take(10)
rdd_un.take(10)
val grouped_rdd2 = grouped_rdd.map{ case (k,xs) => s"""($k,${xs.mkString(",")}"""}
相关文章
- 01-16将Spark中CompactBuf转换为String
- 01-16python中如何将String转换为int
- 01-16c#将http调用返回额json中的有关中文的unicode转换为中文(转)
- 01-16android 将图片通过base64转换为String 将图片String转换为Bitmap
- 01-16form 转json,将form表单中的数据序列化数组后转换为Json
- 01-16(转)java: 无法将类 com.sun.org.apache.xpath.internal.operations.String中的构造器 String应用到给定类型; 需要: 没有参数 找到:
- 01-16qemu-img 将qcow2转换为块设备(openstack image 2 volume)中的瘦供给