jupyter实现web端pyspark编程

1.下载anaconda安装包
下载地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

通过xftp传输至linux
在文件所在目录执行

bash Aanaconda3-4.1.0-Linux-x86_64.sh

按回车键,直到出现yes /no选项,选择yes

生成jupyter配置文件
进入/root/anaconda3/bin目录

./jupyter notebook --generate-config

生成密码

./ipython
from notebook.auth import passwd
passwd()
#输入密码,并且重复确认一次
out[1]:'sha1:d49b4b730196:b224270d9f29f268ebe6c893f95b9493e31b9b7'#会得到一串数字,记下来
quit()

修改文件

vi /root/.jupyter/jupyter_notebook_config.py
#在第一行添加即可
c.NotebookApp.allow_root=True
c.NotebookApp.ip='*'
c.NotebookApp.open_browser=False
#刚才生成的密码
c.NotebookApp.password=u'sha1:d49b4b730196:b224270d9f29f268ebe6c893f95b9493e31b9b7'
c.NotebookApp.port=7070

2.修改环境变量

vi ~/.bashrc
export JAVA_HOME=/usr/java/jdk1.8.0_161 #jdk位置
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=$PATH:${JAVA_HOME}/bin:/opt/hbase-0.98.12.1-hadoop2/bin #hbase位置
export HADOOP_HOME=/opt/hadoop-2.6.5 #hadoop位置
export SPARK_HOME=/usr/local/spark #spark位置
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:$PYTHONPAT
Hexport PYSPARK_PYTHON=python3
export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:/root/anaconda3/bin:$PATH #anaconda位置
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --ip=0.0.0.0 --port=8888"
source ~/.bashrc  

3.启动

pyspark

jupyter实现web端pyspark编程
在浏览器输入地址
http://(你的ip地址):8888/
jupyter实现web端pyspark编程
jupyter实现web端pyspark编程
jupyter实现web端pyspark编程

上一篇:jupyter notebook 修改默认浏览器 修改配置目录


下一篇:Jupyter Lab3.0远程访问配置及代码无法自动补全问题