Windows环境部署并调试pyspark(一)

准备:

windows环境说明:Python2.7 + pip
spark版本:spark-1.6.1-bin-hadoop2.6

step1:
下载并解压tar包到自定义的路径。(下载链接 https://d3kbcqa49mib13.cloudfront.net/spark-1.6.1-bin-hadoop2.6.tgz)

step2:
配置 %SPARK_HOME% 环境变量

Windows环境部署并调试pyspark(一)

step3:
拷贝pyspark对应的python工具包到python的安装路径下 "%PYTHON%/site-packages/"

step4:
使用PyCharm打开 "%SPARK_HOME%/examples\src\main\python"

Windows环境部署并调试pyspark(一)

Windows环境部署并调试pyspark(一)

step5:
运行pi.py并查看输出

Windows环境部署并调试pyspark(一)

  至此,pyspark入门篇的windows环境搭建就完成了。

注意:

1.运行时若出现“numpy”,“py4j”等依赖包找不到,自行使用pip进行安装即可($ pip install xxx);
2.当在进行部分模型的训练与加载出错时,需要到真实的unix环境进行对应代码的操作.

上一篇:git merge,rebase和*(no branch)


下一篇:GroundworkCSS ? Tables