【慕课网实战】六、以慕课网日志分析为例 进入大数据 Spark SQL 的世界

DataFrame它不是Spark SQL提出的,而是早起在R、Pandas语言就已经有了的。
 
A Dataset is a distributed collection of data:分布式的数据集
A DataFrame is a Dataset organized into named columns.
以列(列名、列的类型、列值)的形式构成的分布式数据集,按照列赋予不同的名称
 
student
id:int
name:string
city:string
 
It is conceptually equivalent to a table in a relational database
or a data frame in R/Python
 
RDD:
    java/scala  ==> jvm
    python ==> python runtime
 
DataFrame:
    java/scala/python ==> Logic Plan
 
DataFrame和RDD互操作的两种方式:
1)反射:case class   前提:事先需要知道你的字段、字段类型    
2)编程:Row          如果第一种情况不能满足你的要求(事先不知道列)
3) 选型:优先考虑第一种
 
val rdd = spark.sparkContext.textFile("file:///home/hadoop/data/student.data")
 
DataFrame = Dataset[Row]
Dataset:强类型  typed  case class
DataFrame:弱类型   Row
 
SQL:
    seletc name from person;  compile  ok, result no
 
DF:
    df.select("name")  compile no
    df.select("nname")  compile ok  
 
DS:
    ds.map(line => line.itemid)  compile no
 
上一篇:C# Winform 小技巧(Datagridview某一列按状态显示不同图片)


下一篇:【慕课网实战】五、以慕课网日志分析为例 进入大数据 Spark SQL 的世界