pycharm搭建pyspark本地开发环境

1、进入自己的python虚拟环境

 

2、安装pyspark

pip install pyspark

 

3、检查java环境变量设置,版本是否合适

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_151.jdk/Contents/Home

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

 

版本不对有可能遭遇以下错误

org/apache/spark/launcher/Main : Unsupported major.minor version 52.

 

 

 

上一篇:python – 在Apache Spark中使用pyspark进行数据帧转置


下一篇:python – 舍入double值并转换为整数