总结下Spark中将RDD转换成DataFrame的两种方法, 代码如下:
-
方法一: 使用
createDataFrame
方法
```java
//StructType and convert RDD to DataFrameval schema = StructType(
Seq(
StructField("name",StringType,true)
,StructField("age",IntegerType,true)
)
)val rowRDD = sparkSession.sparkContext
}
.textFile("/tmp/people.txt",2)
.map( x => x.split(",")).map( x => Row(x(0),x(1).trim().toInt))
sparkSession.createDataFrame(rowRDD,schema)
}
``` -
方法二: 使用
toDF
方法
```java
//use case class Person
case class Person(name:String,age:Int)//导入隐饰操作,否则RDD无法调用toDF方法
import sparkSession.implicits._
val peopleRDD = sparkSession.sparkContext
.textFile("/tmp/people.txt",2)
.map( x => x.split(",")).map( x => Person(x(0),x(1).trim().toInt)).toDF()``
><font color=red><B>注意</b> ><font color=darkblue>请不要将
case Class`定义在main 方法中与toDF一起使用,或与使用toDF定义在同一函数中