1.Spark SQL出现的 原因是什么?
关系数据库已经流行多年，能较好的满足各类商业公司的业务数据管理需求，但关系数据库在大数据时代已经不能满足各种新增的用户需求。用户需要从不同数据源执行各种操作（包括结构化和非结构化数据），也需要执行高级分析（在实际大数据应用中，经常需要融合关系查询和复杂分析算法）。
Spark SQL的出现，填补了这个鸿沟。首先，Spark SQL可以对内部和外部各种数据源执行各种关系操作；其次，可以支持大量的数据源和数据分析算法，有效地满足各种复杂的应用需求。
2.用spark.read 创建DataFrame
（1）从文件创建spark.read
（2）从RDD创建
3.观察从不同类型文件创建DataFrame有什么异同?
（1）共同点：在创建Data Frame时，都可以使用spark.read操作，实现从不同类型的文件中加载数据创建DataFrame。
（2）不同点：
a. spark.read.text("people.txt"):读取文本文件people.txt
b. spark.read.json("people.json"):读取JSON文件
c. spark.read.parquet("people.parquet"):读取Parquet文件
4.观察Spark的DataFrame与Python pandas的DataFrame有什么异同？
Pandas中DataFrame是可变的，而Spark中RDDs是不可变的，因此DataFrame也是不可变的。
Spark SQL DataFrame的基本操作
1.创建：
spark.read.text()
spark.read.json()
2.打印数据
df.show()默认打印前20条数据，df.show(n)
3.打印概要
df.printSchema()
4.查询总行数
df.count()
df.head(3) #list类型，list中每个元素是Row类
5.输出全部行
df.collect() #list类型，list中每个元素是Row类
6.查询概况
df.describe().show()
7.取列
df[‘name’]
df.name
df.select()
df.filter()
df.groupBy()
df.sort()