启动spark-shell客户端
启动集群模式
本机为master节点
export MASTER=spark://`hostname`:7077
bin/spark-shell
或者
bin/spark-shell --master spark://ip:7077
如果没有spark实例启动，直接运行bin/spark-shell则启动的是本地模式，并且线程数为1，该启动方式和下面的效果一样
bin/spark-shell --master local
启动本地模式，线程数为n:
bin/spark-shell --master local[n]
./bin/spark-shell --help 查看更详细的参数信息
spark-shell 默认会创建一个SparkContext对象sc和一个SparkSession对象为spark，利用这些对象我们可以做一些命令行的操纵。
SparkSession可以用来创建SparkContext对象（spark.sparkContext），这个是新版的api。
常用的方法
RDD的方法分为transformations和actions，当对RDD进行transformation时，不会立刻执行，因为transformation是延迟执行的，
此时只会记录RDD的lineage，transformation返回的数据还是RDD。action会立刻执行，返回操作后的结果集
1、textFile： 加载文件，如果文件不是分布式文件，则每个work节点都需要有这个文件，不然运行的时候会提示文件找不到错误
sc.textFile("README.md")
2、addFile：添加文件到spark中
sc.addFile("../test")
可以通过 sc.textFile(SparkFiles.get("test"))进行文件的加载，注意引入import org.apache.spark.SparkFiles
3、count：RDD中有多少条数据
val input = sc.textFile("../README.md")
input.count
4、first：返回RDD中的第一条数据
input.first
5、map：对RDD中的每一条数据做map方法中传递的方法的操作
val spaceSplit = input.map(_.split(" "))
spaceSplit.first
6、flatMap：对RDD的数据进行映射后，合并成一个集合
val fmInput = input.flatMap(_.split(" "))
flatMap:
map：
7、take：取RDD中的前几条数据
val input = sc.textFile("../README.md")
取第一条数据：input.take(1)
取前三条数据：input.take(3)
8、collect：以集合的形式返回RDD中的数据
input.collect
9、reduceByKey：对相同key的值，做给定方法的操作，下面是一个spark实现的map reduce统计文件中的单词个数
input.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).collect