Windows系统pyspark

1、JDK(本文中使用JDK8)

下载:oracle官网https://www.oracle.com/cn/java/technologies/javase/javase-jdk8-downloads.html

注意:需要有账号才能下载,注册很麻烦,有如下网站可以在里面下载也可以使用里面的共享账号

http://www.codebaoku.com/jdk/jdk-oracle-account.html

Windows系统pyspark
下载完成后,进行安装:
Windows系统pyspark
安装完成后,配置Java的三个系统环境变量:

JAVA_HOME: C:\Program Files\Java\jdk1.8.0_291

CLASS_PATH: C:\Program Files\Java\jdk1.8.0_291\lib

Path中增加: C:\Program Files\Java\jdk1.8.0_291\bin

Windows系统pyspark
在命令行窗口输入两个命令:java和javac,如果出现如下信息,则安装成功:
Windows系统pyspark
Windows系统pyspark

2、安装Scala(Scala-2.12.14)

查一下spark安装对应的scala版本
Windows系统pyspark
如上图所示,当前罪行的spark3.0+对应的是Scala2.12版本,所以我们下载2.12的版本,Scala官网:https://www.scala-lang.org/download/all.html
Windows系统pyspark
随意找一个2.12版本下载,我下载的是2.12.14
Windows系统pyspark
自行选择哪种版本,这里我选择命令行版本下载

下载完成后安装,安装完成后添加环境变量

上一篇:在Windows中安装PySpark环境


下一篇:pyspark写入hive(二) 使用 saveAsTable