1.下载anaconda安装包
下载地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
通过xftp传输至linux
在文件所在目录执行
bash Aanaconda3-4.1.0-Linux-x86_64.sh
按回车键,直到出现yes /no选项,选择yes
生成jupyter配置文件
进入/root/anaconda3/bin目录
./jupyter notebook --generate-config
生成密码
./ipython
from notebook.auth import passwd
passwd()
#输入密码,并且重复确认一次
out[1]:'sha1:d49b4b730196:b224270d9f29f268ebe6c893f95b9493e31b9b7'#会得到一串数字,记下来
quit()
修改文件
vi /root/.jupyter/jupyter_notebook_config.py
#在第一行添加即可
c.NotebookApp.allow_root=True
c.NotebookApp.ip='*'
c.NotebookApp.open_browser=False
#刚才生成的密码
c.NotebookApp.password=u'sha1:d49b4b730196:b224270d9f29f268ebe6c893f95b9493e31b9b7'
c.NotebookApp.port=7070
2.修改环境变量
vi ~/.bashrc
export JAVA_HOME=/usr/java/jdk1.8.0_161 #jdk位置
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=$PATH:${JAVA_HOME}/bin:/opt/hbase-0.98.12.1-hadoop2/bin #hbase位置
export HADOOP_HOME=/opt/hadoop-2.6.5 #hadoop位置
export SPARK_HOME=/usr/local/spark #spark位置
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:$PYTHONPAT
Hexport PYSPARK_PYTHON=python3
export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:/root/anaconda3/bin:$PATH #anaconda位置
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --ip=0.0.0.0 --port=8888"
source ~/.bashrc
3.启动
pyspark
在浏览器输入地址
http://(你的ip地址):8888/