Spark Shell & Spark submit

Spark 的 shell 是一个强大的交互式数据分析工具。

1. 搭建Spark

2. 两个目录下面有可执行文件:

bin  包含spark-shell 和 spark-submit

sbin 包含

  • sbin/start-master.sh:在机器上启动一个master实例
  • sbin/start-slaves.sh:在每台机器上启动一个slave实例
  • sbin/start-all.sh:同时启动一个master实例和所有slave实例
  • sbin/stop-master.sh:停止master实例
  • sbin/stop-slaves.sh:停止所有slave实例
  • sbin/stop-all.sh:停止master实例和所有slave实例

注意,这些脚本必须在你的Spark master运行的机器上执行,而不是在你的本地机器上面。

3.在 Spark 目录里运行spark-shell 和 spark-submit:

./bin/spark-shell 

Spark Shell & Spark submit

./bin/spark-submit   可以在集群上启动应用程序。

3. Spark SQL的入口是  SQLContext类或者它的子类:

val sqlContext = new org.apache.spark.sql.SQLContext(sc)

HiveContext:

从SQLContext继承而来,它增加了在MetaStore中发现表以及利用HiveSql写查询的功能.

4. Graphx 的打印输出 output

graph.vertices.collect.foreach(println(_))

graph.edges.collect.foreach(println(_))

5. Spark 配置

Spark提供三个位置用来配置系统:

  • Spark properties控制大部分的应用程序参数,可以用SparkConf对象或者java系统属性设置
  • Environment variables可以通过每个节点的conf/spark-env.sh脚本设置每台机器的设置。例如IP地址
  • Logging可以通过log4j.properties配置
 
上一篇:Hive on Spark和Spark sql on Hive,你能分的清楚么


下一篇:SQL Server 2008空间数据应用系列七:基于Bing Maps(Silverlight) 的空间数据展现