在Docker容器中安装jdk和spark
1、下载jdk和spark
可以使用迅雷等专业下载软件下载jdk和spark软件包,注意是linux版,这里直接给出下载地址:
-
JDK下载地址
JDK进入后,需要选择同意之后,才能下载。
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
-
Spark
该地址是spark的软件包下载地址,直接下载即可。
http://mirrors.shu.edu.cn/apache/spark/spark-2.3.2/spark-2.3.2-bin-hadoop2.7.tgz
2、复制软件到centos
使用winscp软件。
3、复制jdk和spark的安装文件到容器中
# 复制jdk
$>docker cp jdk-8u191-linux-x64.tar.gz 01a25bdf1499:/root/
# 复制spark
$>docker cp spark-2.1.0-bin-hadoop2.7.tgz 01a25bdf1499:/root/
4、在容器中安装jdk和spark
4.1 安装基本软件包
docker下载的镜像文件只包含了很少的命令,像nc、nano、ping、ifconfig等软件包需要单独安装,甚至连yum软件包也没有。具体安装命令见<<Docker常见命令>>一节。
4.2 安装jdk
-
创建/soft文件夹,作为所有软件的安装目录
$>mkdir /soft
-
解压jdk的归档文件到/soft下
$>tar -xzvf jdk-8u191-linux-x64.tar.gz -C /soft/
-
创建jdk目录的软连接
$>cd /soft
$>ln -s jdk1.8.0_191 jdk -
配置环境变量文件
$>nano /etc/profile
文件中输入如下内容:
[/etc/profie]
...
# 使用软连接目录
export JAVA_HOME=/soft/jdk
export PATH=$PATH:$JAVA_HOME/bin -
环境变量生效
$>source /etc/profile
-
测试jdk的版本
$>java -version
结果如图所示:
4.3 安装spark
-
解压spark软件包到/soft目录
$>tar -xzvf spark-2.3.2-bin-hadoop2.7.tgz -C /soft/
-
创建软连接
$>ln -s spark
-
配置环境变量
$>nano /etc/profile
[/etc/profile]
...
export SPARK_HOME=/soft/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin -
使环境变量生效
$>source /etc/profile
-
验证spark安装是否成功
$>spark-shell