Linux命令

虚拟机安装

硬件

Linux命令

步骤如图所示:

Linux命令

Linux命令

Linux命令

Linux命令

Linux命令

Linux命令

Linux命令

Linux命令

Linux命令

Linux命令

Linux命令

软件-->安装Linux系统

Linux命令

Linux命令

Linux命令

Linux命令

Linux命令

Linux命令

在安装过程中可以设置root密码和创建用户

Linux命令

Linux命令

Linux命令

一直前进

Linux命令

Linux命令

设置IP地址

  1. 使用cd /etc/sysconfig/network-scripts命令,发现ifcfg-ens33文档的操作权限是root,所以需要从普通用户切换到root
    Linux命令

  2. 使用su root命令,从kk(普通用户)切换到root,如图示:
    Linux命令

  3. 使用vim ifcfg-ens33命令,添加该虚拟机的IP、掩码、网关、域名解析器(114.114.114.114),把BROWSER_ONLY 的值修改为''static''。如何查看IP、掩码、网关,如图所示:
    Linux命令

  4. 使用ping www.baidu.comd 命令测试是否可以ping通 ,如ping不通则检查修改和添加的内容是否正确
    Linux命令

  5. 使用到的命令如下:

    cd /etc/sysconfig/network-scripts
    su root
    vim ifcfg-ens33
    ping www.baidu.com
    
    

修改主机名

  1. 由于hostname文档的操作权限也是root,则继续使用root,使用vim /etc/hostname修改主机名称
    Linux命令

  2. 使用reboot命令重启即可
    Linux命令

  3. 看!成功修改后的主机名称
    Linux命令

  4. 使用到的命令如下

    ll /etc/hostname
    vim /etc/hostname
    reboot
    

普通用户模式部署Hadoop伪分布模式(虚拟机)

设置IP

  1. 使用cd /etc/sysconfig/network-scripts命令,发现ifcfg-ens33文档的操作权限是root,所以需要从普通用户切换到root
    Linux命令

  2. 使用su root命令,从kk(普通用户)切换到root,如图示:
    Linux命令

  3. 使用vim ifcfg-ens33命令,添加该虚拟机的IP、掩码、网关、域名解析器(114.114.114.114),把BROWSER_ONLY 的值修改为''static''。如何查看IP、掩码、网关,如图所示:
    Linux命令

  4. 使用ping www.baidu.comd 命令测试是否可以ping通 ,如ping不通则检查修改和添加的内容是否正确
    Linux命令

  5. 使用到的命令如下:

    cd /etc/sysconfig/network-scripts
    su root
    vim ifcfg-ens33
    ping www.baidu.com
    
    

关闭防火墙

  1. 使用su root命令切换为root用户
  • 使用systemctl stop firewalld命令关闭防火墙
  • 使用systemctl disable firewalld.service命令禁止开机自动开启防火墙
    Linux命令
  1. 使用到的命令如下:

    [kk@hadoop101 ~]$ su root
    密码:
    [root@hadoop101 kk]# systemctl stop firewalld
    [root@hadoop101 kk]# systemctl disable firewalld.service
    Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
    Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
    
    

将主机名称映射成IP

  1. 使用vim /etc/hosts命令添加该虚拟机的IP和主机名称
    Linux命令

    Linux命令

  2. 使用的命令如下:

    [root@hadoop101 kk]# vim /etc/hosts
    

Linux命令

给普通用户一个root的权限

linux是一个多用户进程的操作系统,对用户的权限控制非常明确,所以方便后面普通用户执行root权限的文件且不需要输入密码,让kk用户具有root权限。

  1. 输入vim /etc/sudoers命令修改sudoers文档,在%wheel这行下面添加kk ALL=(ALL) NOPASSWD:ALL。如图所示:
    Linux命令

  2. 使用到的命令如下:

    [root@hadoop101 kk]# vim /etc/sudoers
    

Linux命令

卸载虚拟机自带的JDK(针对Centos7版本)

  1. 使用java -version命令发现已经安装了虚拟机,为了不影响后面的开发和hadoop的环境配置,则需要卸载掉
    Linux命令

  2. 使用rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps命令卸载虚拟机自带的JDK
    Linux命令

  3. 再次使用java -version命令发现没有那个文件,则卸载成功
    Linux命令

  4. 使用到的命令如下:

    [root@hadoop101 kk]# java -version
    openjdk version "1.8.0_161"
    OpenJDK Runtime Environment (build 1.8.0_161-b14)
    OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)
    [root@hadoop101 kk]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
    [root@hadoop101 kk]# java -version
    bash: /usr/bin/java: 没有那个文件或目录
    

下载hadoop、jdk8

  1. 使用exit命令,切换成kk用户,因为hadoop伪分布部署在kk(普通用户)用户下
    Linux命令

  2. 使用mkdir ./software命令,在当前目录创建software目录,存放hadoop和jdk
    Linux命令

  3. 使用cd software命令,切换到software目录,为了提高下载效率,开启两个终端。注意:两个终端都要切换到software目录
    使用wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz命令下载hadoop
    使用wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz命令下载jdk8

    Linux命令

    Linux命令

  4. 使用的命令如下:

    [root@hadoop101 kk]# exit
    exit
    [kk@hadoop101 ~]$ pwd
    /home/kk
    [kk@hadoop101 ~]$ ll
    总用量 0
    drwxr-xr-x. 2 kk kk 6 10月 23 23:12 公共
    drwxr-xr-x. 2 kk kk 6 10月 23 23:12 模板
    drwxr-xr-x. 2 kk kk 6 10月 23 23:12 视频
    drwxr-xr-x. 2 kk kk 6 10月 23 23:12 图片
    drwxr-xr-x. 2 kk kk 6 10月 23 23:12 文档
    drwxr-xr-x. 2 kk kk 6 10月 23 23:12 下载
    drwxr-xr-x. 2 kk kk 6 10月 23 23:12 音乐
    drwxr-xr-x. 2 kk kk 6 10月 23 23:12 桌面
    [kk@hadoop101 ~]$ mkdir ./software
    [kk@hadoop101 ~]$ ll
    总用量 0
    drwxrwxr-x. 2 kk kk 6 10月 24 11:56 software
    drwxr-xr-x. 2 kk kk 6 10月 23 23:12 公共
    drwxr-xr-x. 2 kk kk 6 10月 23 23:12 模板
    drwxr-xr-x. 2 kk kk 6 10月 23 23:12 视频
    drwxr-xr-x. 2 kk kk 6 10月 23 23:12 图片
    drwxr-xr-x. 2 kk kk 6 10月 23 23:12 文档
    drwxr-xr-x. 2 kk kk 6 10月 23 23:12 下载
    drwxr-xr-x. 2 kk kk 6 10月 23 23:12 音乐
    drwxr-xr-x. 2 kk kk 6 10月 23 23:12 桌面
    [kk@hadoop101 ~]$ cd software
    [kk@hadoop101 software]$ wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
    
    
    
    [kk@hadoop101 ~]$ cd software
    [kk@hadoop101 software]$ wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz
    
    

解压hadoop、jdk

  1. 使用tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz 命令解压jdk
    使用tar -zxvf hadoop-2.7.3.tar.gz 命令解压hadoop
    Linux命令

    Linux命令

  2. 使用到的命令如下:

    [kk@hadoop101 software]$ ll
    总用量 432284
    -rw-rw-r--. 1 kk kk 161923072 10月 24 12:20 hadoop-2.7.3.tar.gz
    -rw-rw-r--. 1 kk kk 174287938 1月  15 2020 openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
    [kk@hadoop101 software]$ tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz 
    
    
    [kk@hadoop101 software]$ ll
    总用量 379280
    -rw-rw-r--. 1 kk kk 214092195 8月  26 2016 hadoop-2.7.3.tar.gz
    -rw-rw-r--. 1 kk kk 174287938 1月  15 2020 openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
    [kk@hadoop101 software]$ tar -zxvf hadoop-2.7.3.tar.gz 
    
    

设置环境变量、然后实现

  1. 使用vim ~/.bash_profile命令添加java和hadoop的环境变量,如图所示:
    Linux命令

    export JAVA_HOME=/home/kk/software/java-se-8u41-ri
    export HADOOP_HOME=/home/kk/software/hadoop-2.7.3
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    
  2. 使用source ~/.bash_profile命令实现环境变量,使其生效

  3. 使用的命令如下:

    [kk@hadoop101 sbin]$ vim ~/.bash_profile
    [kk@hadoop101 sbin]$ source ~/.bash_profile
    

检验配置的环境变量是否生效

  1. 使用java -version和hadoop version命令检验环境变量是否生效,如无生效,则检查是否有配置错
    Linux命令

  2. 使用的命令如下:

[kk@hadoop101 /]$ hadoop version
Hadoop 2.7.3
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff
Compiled by root on 2016-08-18T01:41Z
Compiled with protoc 2.5.0
From source with checksum 2e4ce5f957ea4db193bce3734ff29ff4
This command was run using /home/kk/software/hadoop-2.7.3/share/hadoop/common/hadoop-common-2.7.3.jar
[kk@hadoop101 /]$ java -version
openjdk version "1.8.0_41"
OpenJDK Runtime Environment (build 1.8.0_41-b04)
OpenJDK 64-Bit Server VM (build 25.40-b25, mixed mode)
[kk@hadoop101 /]$ 

hadoop/bin的内容

Linux命令

hadoop/sbin

Linux命令

安装ssh

  1. 使用ssh-keygen -t rsa命令生成密钥对(公钥和私钥),连续敲3次回车即创建完毕

    Linux命令

  2. 使用cd .ssh命令,进入.ssh目录,再使用ssh-copy-id hadoop101命令,将hadoop101的公钥拷贝到hadoop101的authorized_keys,完成无密登录hadoop101
    Linux命令

  3. 使用ssh hadoop101实现无密码登录hadoop101。使用exit命令即可退出exit,回到本机。注意:使用ssh hadoop101命令不用输入密码才算配置成功
    Linux命令

  4. 使用到的命令:

    [kk@hadoop101 /]$ ssh-keygen -t rsa
    
    [kk@hadoop101 ~]$ cd /home/kk/.ssh
    [kk@hadoop101 .ssh]$ ssh-copy-id hadoop101
    
    
    [kk@hadoop101 .ssh]$ ssh hadoop101
    
    [kk@hadoop101 ~]$ exit
    
    
    
    

修改hadoop自定义配置文件

修改core-site.xml

  1. 使用cd /home/kk/software/hadoop-2.7.3/etc/hadoop/命令,切换到hadoop目录下

  2. 使用vim core-site.xml命令修改文档配置,在添加内容,添加内容如下:
    Linux命令

        <!-- 指定NameNode的地址 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop101:9000</value>
        </property>
    
        <!-- 指定hadoop数据的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/kk/software/hadoop-2.7.3/data</value>
        </property>
    
  3. 使用到的命令如下:

    [kk@hadoop101 hadoop]$ cd /home/kk/software/hadoop-2.7.3/etc/hadoop/
    [kk@hadoop101 hadoop]$ vim core-site.xml
    
    

修改hdfs-site.xml

  1. 使用vim hdfs-site.xml命令修改文档配置,在添加内容,添加内容如下:
    Linux命令

    <property>
    <!--副本的数量-->
    <name>dfs.replication</name>
    <value>1</value>
    </property>
    
    
    1. 使用到的命令如下:

      [kk@hadoop101 hadoop]$ vim hdfs-site.xml 
      

修改yarn-site.xml

  1. 使用vim yarn-site.xml命令修改文件配置,在添加内容,添加内容如下:

        <!-- 指定ResourceManager的地址-->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop101</value>
        </property>
        <!-- 指定MR走shuffle -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    
  2. 使用到的命令如下:

    vim yarn-site.xml
    

修改mapred-site.xml

  1. 使用vim mapred-site.xml.template命令修改文件配置,在添加内容,添加内容如下:

    	<!-- 指定MapReduce程序运行在Yarn上 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    
    

    Linux命令

  2. 使用到的命令如下:

    vim mapred-site.xml.template
    

修改 hadoop-env.sh

  1. 使用vim hadoop-env.sh命令,修改文件配置,添加如下信息:

    export JAVA_HOME=/home/kk/software/java-se-8u41-ri
    

    Linux命令

  2. 使用到的命令如下:

    vim hadoop-env.sh
    

格式化文件系统

  1. 使用hdfs namenode -format命令格式化文件

Linux命令

  1. 若出现 status 0 则表示初始化成功

Linux命令

启动所有线程

start-all.sh

Linux命令

查看进程

jps

Linux命令

在windows下的浏览器输入hadoop101:50070和hadoop101:8088

Linux命令

Linux命令

注意事项

  1. 一定要停止进程(stop-all.sh),然后再关闭虚拟机。
  2. 不要多次使用hadoop namenode -format命令,否则使NameNode和DataNode的id不匹配,无法正常开启DataNode进程

解决某些问题链接

https://blog.csdn.net/u010886217/article/details/83479380伪分布(如何在阿里云设置授权)

https://blog.csdn.net/weixin_44915822/article/details/108957136(id修改问题)

上一篇:Hadoop3.x集成Spark


下一篇:7段数码管绘制