1.RDD -> Dataset
val ds = rdd.toDS()
2.RDD -> DataFrame
val df = spark.read.json(rdd)
3.Dataset -> RDD
val rdd = ds.rdd
4.Dataset -> DataFrame
val df = ds.toDF()
5.DataFrame -> RDD
val rdd = df.toJSON.rdd
6.DataFrame -> Dataset
val ds = df.toJSON
相关文章
- 11-05Python中dataframe\ array\ list相互转化
- 11-05Spark RDD转换为DataFrame
- 11-05spark系列-5、RDD、DataFrame、Dataset的区别和各自的优势
- 11-05Sparksql的2.x版本dataFrame和dataSet
- 11-05SparkSQL-Rdd转化DataFrame-通过StructType为字段添加Schema
- 11-05pandas之DataFrame与Dict的相互转换
- 11-0507 从RDD创建DataFrame
- 11-05从 RDD 创建 DataFrame
- 11-05从RDD创建DataFrame
- 11-0507 从RDD创建DataFrame