昨日内容概要

• Hadoop环境准备

  1.解压hadoop压缩包(2.X版本)
  2.配置环境变量并重新加载
  3.检测是否正常启动
  

• Hadoop目录结构

  bin
  	程序文件
  etc
  	配置文件
  share
  	说明文档
  sbin
  	操作命令
  readme
  	产品说明
  

• Hadoop官网案例

  1.grep过滤案例
  	hadoop jar share/....  grep  目标文件  输出位置
  2.wordcount统计案例
  	hadoop jar share/....  word  目标文件  输出位置
  

• 异常情况

  服务无法正常启动或者中途自动结束的情况
  	1.配置文件书写格式不到位
      2.计算机硬件设备要求不够
  

• 伪分布式

  分布式:将一个整体拆分成多个个体分撒在不同的机器上运行
  伪分布式:用一台机器模拟多台机器的效果
  完全分布式:真正的使用多台机器
      
  说白了 在linux中所有的功能基本都是靠配置文件的形式来实现
  hadoop/etc/hadoop2.X
  
  配置文件常见后缀名
  	.xml
      .ini
      .conf
  
  常见软件端口号
  	50070  # hadoop hdfs
      8088  # hadoop yarn/mapreduce
      3306  # MySQL
      6379  # redis
      27017  # mongodb
  

• 完全分布式

  1.多台机器准备
  2.文件拷贝
  	全量拷贝
      	scp 
      增量拷贝
      	rsync
  3.如何高效管理多台机器
  	自定义内容分发脚本(shell语言)
      	1.脚本文件代码格式
          2.修改文件权限chmod
  

今日内容概要

• 完全分布式环境搭建

  可能会出现你们的机器无法操作的局面
  	不停的使用jps查看 哪个服务停了就去启动
  

• 配置集群

• 单点启动

  一台台机器依次启动(效率低下 不推荐)
  

• ssh配置

  公钥私钥交互
  

• 群起配置

  一台机器可以操作集群所有机器(实际工作推荐)
  

今日内容详细

完全分布式(开发重点)

1)准备 3台客户机
2)安装 JDK
3)配置环境变量
4)安装 Hadoop
5)配置环境变量
6)配置集群
7)单点启动
8)配置 ssh
9)群起并测试集群

详细:
1)准备 3台客户机(关闭防火墙、静态 ip、主机名称) 
	克隆机器修改主机名和主机IP地址
2)安装 JDK
	利用scp命令拷贝数据文件至三个客户机
  	scp -r /opt/module root@hadoop102:/opt/module
    scp -r /opt/module root@hadoop103:/opt/module
    scp -r /opt/module root@hadoop104:/opt/module
    """
    也可以在A机器将B机器文件拷贝给C机器
    scp -r root@hadoop101:/opt/module root@hadoop103:/opt/module
    """
  # 扩展:拷贝文件的命令有scp(全量拷贝)、rsync(增量拷贝)
  """
  scp(全量拷贝)
  scp    -r       $pdir/$fname       $user@hadoop$host:$pdir/$fname
  命令		递归		要拷贝的文件路径/名称			目的用户@主机:目的路径/名称
  
  rsync(增量拷贝)
  rsync  -rvl     $pdir/$fname	     $user@hadoop$host:$pdir/$fname
  命令	 选项参数	 要拷贝的文件路径/名称		目的用户@主机:目的路径/名称
  参数详解
  	r	递归
  	v	显示复制过程
  	l	拷贝符号连接
  """   
3)配置环境变量
	1.利用scp命令拷贝环境变量文件至三个客户机
  	scp	/etc/profile root@hadoop102:/etc/profile
    scp	/etc/profile root@hadoop103:/etc/profile
    scp	/etc/profile root@hadoop104:/etc/profile
  
  2.source文件配置
  	source /etc/profile
  
  3.验证是否成功
  	java 
4)扩展:集群分发脚本
  复制文件到所有节点的相同目录下
  1.在/usr/local/bin下创建sync文件并填写以下内容
     [jason@hadoop102 ~]$ cd /usr/local/bin
     [jason@hadoop102 bin]$ touch xsync 
     [jason@hadoop102 bin]$ vi xsync
      """
      文件内容
      #!/bin/bash
      #1 获取输入参数个数，如果没有参数，直接退出
      pcount=$#
      if((pcount==0)); then
      echo no args;
      exit;
      fi
      #2 获取文件名称
      p1=$1 fname=`basename $p1` 
      echo fname=$fname
      #3 获取上级目录到绝对路径
      pdir=`cd -P $(dirname $p1); pwd` 
      echo pdir=$pdir
      #4 获取当前用户名称 
      user=`whoami`
      #5 循环
      for((host=103; host<105; host++)); do
      	echo ------------------- hadoop$host --------------
      	rsync -rvl $pdir/$fname $user@hadoop$host:$pdir 
      done
      """
  2.修改权限
  	chmod 777 xsync
  3.测试
  		在当前机器随便找一个其他机器没有的目录
      	xsync test/
  
5)集群配置
	集群部署规划
  hadoop102						hadoop103			 hadoop104
  HDFS	NameNode/DataNode		 DataNode		 SecondaryNameNode/DataNode	
  YARN  NodeManager		ResourceManager/NodeManager    NodeManager
  '''在102上修改，然后用xsync脚本直接同步'''
  1.配置 core-site.xml(修改主机名即可)
  [jason@hadoop102 hadoop]$ vi core-site.xml
  """
  <!-- 指定 HDFS 中 NameNode 的地址 --> 
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop102:9000</value> 
  </property>
    <!-- 指定 Hadoop 运行时产生文件的存储目录 --> 
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.2/data/tmp</value> 
  </property>
  """
  2.HDFS 配置文件
  	1.配置 hadoop-env.sh
     [jason@hadoop102 hadoop]$ vi hadoop-env.sh 
     """内容(有就不用改了)
     export JAVA_HOME=/opt/module/jdk1.8.0_144
     """
     
    2.配置 hdfs-site.xml(将伪分布式配置删除添加下列配置)
     [jason@hadoop102 hadoop]$ vi hdfs-site.xml
      """内容
      <!-- 指定 Hadoop 辅助名称节点主机配置 --> 
      <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:50090</value> 
      </property>
      """
  3.YARN 配置文件
  	1.配置 yarn-env.sh
     [jason@hadoop102 hadoop]$ vi yarn-env.sh 
      """内容(有就不用改了)
      export JAVA_HOME=/opt/module/jdk1.8.0_144
      """
    2.配置 yarn-site.xml(修改主机名即可)
    	[jason@hadoop102 hadoop]$ vi yarn-site.xml
      """内容
      <!-- Reducer 获取数据的方式 --> 
      <property>
      	<name>yarn.nodemanager.aux-services</name>
      	<value>mapreduce_shuffle</value> 
      </property>
      <!-- 指定 YARN 的 ResourceManager 的地址 --> 
      <property>
      	<name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
      </property>
      """
  4.MapReduce 配置文件
  	1.配置 mapred-env.sh
     [jason@hadoop102 hadoop]$ vi mapred-env.sh 
      """内容(伪分布式配了就不用改了)
      export JAVA_HOME=/opt/module/jdk1.8.0_144
      """
    2.配置 mapred-site.xml(伪分布式配了就不用改了)
     [jason@hadoop102 hadoop]$ cp mapred-site.xml.template mapred-site.xml
		 [jason@hadoop102 hadoop]$ vi mapred-site.xml
    	"""内容
      <!-- 指定 MR 运行在 Yarn 上 --> 
      <property>
    		 <name>mapreduce.framework.name</name>
         <value>yarn</value>
    	</property>
      """
    3.在集群上分发配置好的 Hadoop 配置文件
    [jason@hadoop102 etc]$ xsync hadoop/
    4.查看文件分发情况
    [jason@hadoop103 hadoop]$ cat /opt/module/hadoop-
2.7.2/etc/hadoop/core-site.xml

集群单点启动

1.如果集群是第一次启动，需要格式化 NameNode(我们不是 因为前面弄了伪分布式)
	[jason@hadoop102 hadoop-2.7.2]$ hadoop namenode -format
	"""
  如果集群不是第一次启动，需要删除data和logs目录
	[jason@hadoop102 hadoop-2.7.2]$ rm -rf data/ logs/
  [jason@hadoop103 hadoop-2.7.2]$ rm -rf data/ logs/
  [jason@hadoop104 hadoop-2.7.2]$ rm -rf data/ logs/
	""" 
  
2.在 hadoop102 上启动 NameNode和DataNode
	[jason@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
  [jason@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

3.去103和104启动datanode(namenode就一个)
	[jason@hadoop103 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
  [jason@hadoop104 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
  
4.浏览器验证
	hadoop102:50070

集群ssh配置

"""
上述单点启动的方式每次都一个一个节点启动
如果节点数量很多该如何解决
"""
# 公钥私钥工作原理
# 知识补充:查看know_hosts文件(访问过的主机地址)
[jason@hadoop102 ~]$ ll      # 无法查看
[jason@hadoop102 ~]$ ls -al  # 可以查看
[jason@hadoop102 ~]$ cd .ssh
[jason@hadoop102 .ssh]$ ll
[jason@hadoop102 .shh]$ cat known_hosts

# 生成公钥私钥
[jason@hadoop102 .ssh]$ ssh-keygen -t rsa  # 连续回车即可

# 将102公钥拷贝到103和104
[jason@hadoop102 .shh]$ ssh-copy-id hadoop103
[jason@hadoop102 .shh]$ ssh-copy-id hadoop104
"""
hadoop103中的.ssh在拷贝前后文件是有变化的
hadoop104中的.ssh在拷贝前后文件是有变化的
"""

# 免密直接访问103和104
ssh hadoop103/hadoop104

# 自己用ssh访问自己也需要输入密码，可以采用相同措施解决
[jason@hadoop102 .shh]$ ssh-copy-id hadoop102

# 由于hadoop103上有一个resurcemanage所以也需要配置ssh
[jason@hadoop103 .ssh]$ ssh-keygen -t rsa  
[jason@hadoop103 .shh]$ ssh-copy-id hadoop102
[jason@hadoop103 .shh]$ ssh-copy-id hadoop103
[jason@hadoop103 .shh]$ ssh-copy-id hadoop104

集群群起

1.配置 
 文件位置:/opt/module/hadoop-2.7.2/etc/hadoop/slaves
    
[jason@hadoop102 hadoop]$ vi slaves
"""内容(内容清空再添加)
hadoop102
hadoop103
hadoop104
"""
# 注意:该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

2.同步所有节点配置文件
[jason@hadoop102 hadoop]$ xsync slaves

3.将之前单节点启动的datanode、namenode全部退出
[jason@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode
[jason@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop namenode

[jason@hadoop103 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode

[jason@hadoop104 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode

4.启动HDFS
[jason@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh

5.验证每个节点对于启动的服务
jps查看照着之前的表格比较不能出错

6.启动yarn(一定要在hadoop103上启动 因为rm在这里)
"""
这里需要将hadoop03的公钥分别发送给hadoop102、hadoop103、hadoop104
"""
[jason@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

7.验证每个节点对于启动的服务
jps查看照着之前的表格比较不能出错

集群测试

1.上传文件到集群
	1.小文件
  	[jason@hadoop102 hadoop-2.7.2]$ bin/hdfs dfs -put wcinput/wc.input /
  2.大文件
  	[jason@hadoop102 hadoop-2.7.2]$ bin/hdfs dfs -put /opt/software/hadoop-2.7.2.tar.gz /
  3.浏览器界面测试 

集群启动停止总结

1. 各个服务组件逐一启动/停止
(1)分别启动/停止 HDFS 组件
hadoop-daemon.sh start/stop namenode/datanode/ secondarynamenode
(2)启动/停止 YARN
yarn-daemon.sh start /stop resourcemanager/nodemanager


2. 各个模块分开启动/停止(配置 ssh 是前提)常用 
(1)整体启动/停止 HDFS
start-dfs.sh/stop-dfs.sh 
(2)整体启动/停止 YARN
start-yarn.sh/stop-yarn.sh

集群时间同步

时间同步的方式:找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时 的同步，比如，每隔十分钟，同步一次时间
  
1. 时间服务器配置(必须 root 用户)
(1)检查 ntp 是否安装
	[root@hadoop102 hadoop-2.7.2]# rpm -qa | grep ntp

(2)修改 ntp 配置文件
	[root@hadoop102 hadoop-2.7.2]# vi /etc/ntp.conf

	a)修改1(授权 192.168.1.0-192.168.1.255 网段上的所有机器可以从这台机器上查 询和同步时间)
    # 解开注释
    restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

	b)修改2(集群在局域网中，不使用其他互联网上的时间)
    # 加上注释
    #server 0.centos.pool.ntp.org iburst 
    #server 1.centos.pool.ntp.org iburst 
    #server 2.centos.pool.ntp.org iburst 
    #server 3.centos.pool.ntp.org iburst
	c)添加3(当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群 中的其他节点提供时间同步)
    server 127.127.1.0
    fudge 127.127.1.0 stratum 10

(3)修改/etc/sysconfig/ntpd 文件
  [root@hadoop102 hadoop-2.7.2]$ vim /etc/sysconfig/ntpd
  增加内容如下(让硬件时间与系统时间一起同步)
  SYNC_HWCLOCK=yes

(4)重新启动 ntpd 服务
	[root@hadoop102 桌面]$ service ntpd start
  [root@hadoop102 桌面]$ service ntpd status
  

(5)设置 ntpd 服务开机启动
	[root@hadoop102 桌面]$ chkconfig ntpd on

  
2. 其他机器配置(必须 root 用户)
	分 时 日 月 周
(1)在其他机器配置 1 分钟与时间服务器同步一次
  root@hadoop103 hadoop2-7.2]$ crontab -e
  编写定时任务如下:
    */1 * * * * /usr/sbin/ntpdate hadoop102
  
(2)修改任意机器时间
	[root@hadoop103 ~]$ date -s "2020-11-11 11:11:11"

(3)一分钟后查看机器是否与时间服务器同步
	[root@hadoop103 ~]$ date
  # 测试的时候可以将 10 分钟调整为 1 分钟，节省时间。
  
(4)主动同步时间
	[root@hadoop103 root]$ /usr/sbin/ntpdate hadoop102

Hadoop源码编译

"""
我们从apche官网下载的hadoop包是32位的，如果我们需要将其编译成64位
可以在centos64位的环境下编译之后就会是64位并且在编译过程中还可以加入一些额外的功能
"""
1.前期准备工作
	1.1.CentOS 联网
  1.2.jar包准备(hadoop 源码、JDK8、maven、ant 、protobuf)
  	1)hadoop-2.7.2-src.tar.gz 
  	2)jdk-8u144-linux-x64.tar.gz 
  	3)apache-ant-1.9.9-bin.tar.gz(build 工具，打包用的) 
  	4)apache-maven-3.0.5-bin.tar.gz 
  	5)protobuf-2.5.0.tar.gz(序列化的框架)

2.jar包安装
	2.1.JDK解压、配置环境变量 JAVA_HOME 和 PATH，验证 java-version(如下都需要验证是否配置成功)
	 [software] tar -zxf jdk-8u144-linux- x64.tar.gz -C /opt/module/
	 [software] vi /etc/profile 
  		#JAVA_HOME:
  		export JAVA_HOME=/opt/module/jdk1.8.0_144 
			export PATH=$PATH:$JAVA_HOME/bin
   [software] source /etc/profile
  验证命令:java-version
    
	2.2.Maven 解压、配置 MAVEN_HOME 和 PATH
  	[software] tar -zxvf apache-maven-3.0.5- bin.tar.gz -C /opt/module/
		[apache-maven-3.0.5] vi conf/settings.xml
        <mirrors>
         <mirror>
           <id>nexus-aliyun</id>
           <mirrorOf>central</mirrorOf> <name>Nexus aliyun</name>
           <url>http://maven.aliyun.com/nexus/content/groups/public</ur l>
          </mirror>
        </mirrors>
		[apache-maven-3.0.5] vi /etc/profile
    		#MAVEN_HOME
				export MAVEN_HOME=/opt/module/apache-maven-3.0.5 
				export PATH=$PATH:$MAVEN_HOME/bin
    [software] source /etc/profile
    验证命令:mvn -version
    
	2.3.ant 解压、配置 ANT _HOME 和 PATH
  	[software] tar -zxvf apache-ant-1.9.9- bin.tar.gz -C /opt/module/
		[apache-ant-1.9.9] vi /etc/profile
    		#ANT_HOME
				export ANT_HOME=/opt/module/apache-ant-1.9.9 
				export PATH=$PATH:$ANT_HOME/bin
    [software] source /etc/profile
    验证命令:ant -version
      
  2.4.安装 glibc-headers 和 g++ 命令如下
  	[apache-ant-1.9.9] yum install glibc-headers
    [apache-ant-1.9.9] yum install gcc-c++
    
  2.5.安装 make 和 cmake
  	[apache-ant-1.9.9] yum install make
    [apache-ant-1.9.9] yum install cmake
    
  2.6.解压 protobuf ，进入到解压后 protobuf 主目录，/opt/module/protobuf-2.5.0,然后相继执行命令
  	[software] tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module/
    [opt] cd /opt/module/protobuf-2.5.0/
    [protobuf-2.5.0] ./configure
    [protobuf-2.5.0] make
    [protobuf-2.5.0] make check
    [protobuf-2.5.0] make install
    [protobuf-2.5.0] ldconfig
    [hadoop-dist] vi /etc/profile
    	#LD_LIBRARY_PATH
			export LD_LIBRARY_PATH=/opt/module/protobuf-2.5.0 
  		export PATH=$PATH:$LD_LIBRARY_PATH
    [software] source /etc/profile
    验证命令:protoc --version
      
   2.7.安装 openssl 库
  	[software] yum install openssl-devel
    
   2.8.安装 ncurses-devel 库
  	[software] yum install ncurses-devel
    
3.编译源码
	1.解压源码到/opt/目录
  	[software] tar -zxvf hadoop-2.7.2-src.tar.gz -C /opt/
  
  2.进入到 hadoop 源码主目录
  	[hadoop-2.7.2-src] pwd /opt/hadoop-2.7.2-src
  
  3.通过 maven 执行编译命令(大概需要30分钟)
  	[hadoop-2.7.2-src] mvn package -Pdist,native - DskipTests -Dtar
  
  4.成功的64位hadoop包在/opt/hadoop-2.7.2-src/hadoop-dist/target下
  	[target] pwd /opt/hadoop-2.7.2-src/hadoop-dist/target
    
	5.编译源码过程中常见的问题及解决方案
  	1.MAVEN install 时候 JVM 内存溢出
      处理方式:在环境配置文件和 maven 的执行文件均可调整 MAVEN_OPT 的 heap 大
  小。(详情查阅 MAVEN 编译 JVM 调优问题，如:http://outofmemory.cn/code- snippet/12652/maven-outofmemoryerror-method)
  	2.编译期间 maven 报错。可能网络阻塞问题导致依赖库下载不完整导致，多次执行命 令(一次通过比较难):
      mvn package -Pdist,nativeN -DskipTests -Dtar
    3.报 ant、protobuf 等错误，插件下载未完整或者插件版本问题，最开始链接有较多特 殊情况，同时推荐