Spark中将RDD转换成DataFrame的两种方法

总结下Spark中将RDD转换成DataFrame的两种方法, 代码如下:

  • 方法一: 使用createDataFrame方法
    ```java
    //StructType and convert RDD to DataFrame

    val schema = StructType(
    Seq(
    StructField("name",StringType,true)
    ,StructField("age",IntegerType,true)
    )
    )

    val rowRDD = sparkSession.sparkContext
    .textFile("/tmp/people.txt",2)
    .map( x => x.split(",")).map( x => Row(x(0),x(1).trim().toInt))
    sparkSession.createDataFrame(rowRDD,schema)
    }

    }
    ```
  • 方法二: 使用toDF方法
    ```java
    //use case class Person
    case class Person(name:String,age:Int)

    //导入隐饰操作,否则RDD无法调用toDF方法
    import sparkSession.implicits._
    val peopleRDD = sparkSession.sparkContext
    .textFile("/tmp/people.txt",2)
    .map( x => x.split(",")).map( x => Person(x(0),x(1).trim().toInt)).toDF()

    ``><font color=red><B>注意</b> ><font color=darkblue>请不要将case Class`定义在main 方法中与toDF一起使用,或与使用toDF定义在同一函数中

上一篇:scala 使用case 关键字定义类不需要创建对象直接调用


下一篇:ScheduledExecutorService