1.Spark SQL出现的 原因是什么?
原因是可以提升效率,sparksql是把sql语句转换成rdd然后提交集群执行,可以让执行效率大大提升
2.用spark.read 创建DataFrame
Spark SQL DataFrame的基本操作
创建:
spark.read.text()
spark.read.json()
打印数据
df.show()默认打印前20条数据,df.show(n)
打印概要
df.printSchema()
查询总行数
df.count()
df.head(3) #list类型,list中每个元素是Row类
输出全部行
df.collect() #list类型,list中每个元素是Row类
查询概况
df.describe().show()
取列
df[‘name’]
df.name
df.select()
df.filter()
df.groupBy()
df.sort()