在Docker容器中安装jdk和spark

在Docker容器中安装jdk和spark

1、下载jdk和spark

可以使用迅雷等专业下载软件下载jdk和spark软件包,注意是linux版,这里直接给出下载地址:

  • JDK下载地址

    JDK进入后,需要选择同意之后,才能下载。

    https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
  • Spark

    该地址是spark的软件包下载地址,直接下载即可。

    http://mirrors.shu.edu.cn/apache/spark/spark-2.3.2/spark-2.3.2-bin-hadoop2.7.tgz

2、复制软件到centos

使用winscp软件。

3、复制jdk和spark的安装文件到容器中

# 复制jdk
$>docker cp jdk-8u191-linux-x64.tar.gz 01a25bdf1499:/root/ # 复制spark
$>docker cp spark-2.1.0-bin-hadoop2.7.tgz 01a25bdf1499:/root/

4、在容器中安装jdk和spark

4.1 安装基本软件包

docker下载的镜像文件只包含了很少的命令,像nc、nano、ping、ifconfig等软件包需要单独安装,甚至连yum软件包也没有。具体安装命令见<<Docker常见命令>>一节。

4.2 安装jdk

  1. 创建/soft文件夹,作为所有软件的安装目录

    $>mkdir /soft
  2. 解压jdk的归档文件到/soft下

    $>tar -xzvf jdk-8u191-linux-x64.tar.gz -C /soft/
  3. 创建jdk目录的软连接

    $>cd /soft
    $>ln -s jdk1.8.0_191 jdk
  4. 配置环境变量文件

    $>nano /etc/profile

    文件中输入如下内容:

    [/etc/profie]

    ...
    # 使用软连接目录
    export JAVA_HOME=/soft/jdk
    export PATH=$PATH:$JAVA_HOME/bin
  5. 环境变量生效

    $>source /etc/profile
  6. 测试jdk的版本

    $>java -version

    结果如图所示:

    在Docker容器中安装jdk和spark

4.3 安装spark

  1. 解压spark软件包到/soft目录

    $>tar -xzvf spark-2.3.2-bin-hadoop2.7.tgz -C /soft/
  2. 创建软连接

    $>ln -s spark
  3. 配置环境变量

    $>nano /etc/profile

    [/etc/profile]

    ...
    export SPARK_HOME=/soft/spark
    export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
  4. 使环境变量生效

    $>source /etc/profile
  5. 验证spark安装是否成功

    $>spark-shell
上一篇:能加载文件或程序集 HRESULT:0x80070057 (E_INVALIDARG)的异常的解决方案


下一篇:java线程中yield(),sleep(),wait()区别详解