《深入理解Spark 核心思想与源码分析》 耿嘉安著
本书共计486页,计划每天读书20页,计划25天完成。
2018-12-20 1-20页
凡事豫则立,不豫则废;言前定,则不跲;事前定,则不困。
——《礼记.中庸》
第一章:
1、运行环境,安装JDK。
2、运行环境,安装scala。
wget http://downloads.typesafe.com/scala/2.10.4/scala-2.10.4.tgz
安装版本2.10.4
chmod 775 scala-2.10.4.tgz
tar -xzvf scala-2.10.4.tgz
cd ~
vim .bash_profile
export SCALA_HOME=/home/hyshf/scala-2.10.4
export PATH=$PATH:$SCALA_HOME/bin
重启客户端。输入scala
3、安装Spark。
wget http://archive.apache.org/dist/spark/spark-1.6.0/spark-1.6.0-bin-hadoop2.6.tgz
chmod 775 spark-1.6.0-bin-hadoop2.6.tgz
tar -xzvf spark-1.6.0-bin-hadoop2.6.tgz
在添加配置:
cd ~
vim .bash_profile
export SPARK_HOME=/home/hyshf/spark-1.6.0-bin-hadoop2.6
需要再进入Spark做设置
export SPARK_MASTER_IP=127.0.0.1
export SPARK_LOCAL_IP=127.0.0.1
进入目录./spark-shell
1.2.2 执行word-count
scala> val lines=sc.textFile("../README.md",2)
scala> val words=lines.flatMap(line=>line.split(""))
scala> val ones=words.map(w=>(w,1))
val counts=ones.reduceByKey(_+_)
counts.foreach(println)
1.3 阅读环境准备
1.4 Spark源代码编译与调试