Hadoop:
下载网址：https://archive.apache.org/dist/hadoop/common
什么是hadoop：用于数据存储和数据分析计算的分布式系统基础架构
创始人：Doug Cutting
组成
-
Hadoop HDFS:一个高可靠、高吞吐量的分布式系统文件
-
Hadoop MapReduce：一个分布式的离线并行计算框架
-
Hadoop YARN:作业调度与集群资源管理的框架
-
Hadoop Common：支持其他模块的工具模块
Yarn架构
-
NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。
-
DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。
-
Secondary NameNode(2nn)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。
Yarn架构
-
ResourceManager(rm)：处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度；
-
NodeManager(nm)：单个节点上的资源管理、处理来自ResourceManager的命令、处理来自ApplicationMaster的命令；
-
ApplicationMaster：数据切分、为应用程序申请资源，并分配给内部任务、任务监控与容错。
-
Container：对任务运行环境的抽象，封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息。
MapReduce架构
MapReduce将计算过程分为两个阶段：
Map和Reduce
-
Map阶段并行处理输入数据
-
Reduce阶段对Map结果进行汇总
大数据技术生态体系
Hadoop安装搭建
准备工作：
1.设值静态IP
1 # 检查网卡配置 2 vim /etc/sysconfig/network-scripts/ifcfg-ens33 3 # 将网卡启动方式设置为none或者static 4 # 如果是dhcp 则每次重启都会重新分配IP 5 BOOTPROTO=none 6 或者 7 BOOTPROTO=STATIC 8 # 修改之后需要重启网络 9 systemctl restart network
2.修改主机名
1 # 查看当前主机名 2 hostname 3 # 修改主机名 4 hostnamectl set-hostname 主机名
3.关闭防火墙
1 # 关闭防火墙 2 systemctl stop firewalld 3 # 禁用防火墙的开机启动 4 systemctl disable firewalld 5 # 查看防火墙服务状态 6 systemctl status firewalldCOPY
4.安装JDK
- 上传安装包到linuc服务器
压缩包存放路径
/opt/java/tar
- 解压安装包
路径
/opt/java/modul
解压指令：
1 tar -zxvf hadoop-2.7.7.tar.gz -C /opt/java/modul 2 # tar命令用来解压tar类型的存档文件 3 # z 进行gzip格式文件的压缩或解压 4 # x 解开压缩包 5 # v 显示解压或压缩细节 6 # f 将文件解压到当前目录 7 # 使用mv将文件夹修改为更简短的名称 8 # 软件名称-软件版本
完全分布式搭建：
1.克隆虚拟机
配置环境变量：
# 可以在三个文件中配置环境变量 # 系统环境变量 /etc/profile # 当前用户的环境变量 ~/.bashrc ~/.bash_profile
-
将服务器克隆为3台，并分别设置静态IP，分别设置主机名
192.168.222.81
192.168.222.82
192.168.222.83
-
设值IP和主机名映射
1 # Linux中使用/etc/hosts文件记录IP和主机名的映射 2 # 配置映射是为了将来访问其他机器时不需要记忆ip地址 3 # 配置映射 可以在所有的软件配置文件中使用主机名代替IP，将来IP改动时，只需要改动hosts文件，不需要改动软件配置文件 4 vim /etc/hosts 5 192.168.222.81 bd01 6 192.168.222.82 bd02 7 192.168.222.83 bd03
-
设值SSH免密登录
1 # 分布式程序中 集群之间需要进行大量的数据传输和通信，需要使用SSH协议进行远程连接，如果每次都需要验证密码，效率极差 2 # 可以通过配置免密登录 实现集群内部通畅的通信 3 # 1.移除之前的残留文件 4 rm -rf ~/.ssh 5 # 2.创建密钥文件 6 ssh-keygen -t rsa 7 # 3.分发密钥 8 ssh-copy-id bd0801 9 yes 10 密码 11 ssh-copy-id bd0802 12 yes 13 密码 14 ssh-copy-id bd0803 15 yes 16 密码
安装完全分布式HDFS服务
http://archive.apache.org/ apache组件下载
-
关于版本：
-
几乎所有的大数据组件，版本都有三组数字组成
x.y.z -
x : 大版本，通常x不同的版本之间，API有差异,不互相兼容
-
y : 中版本，通常x相同y不同的版本之间，api相互兼容，会有少量的优化和重构
-
z : 小版本，通常x,y相同，z不同的版本之间，功能和性能完全一样，修复了一些紧急的漏洞，不要使用小版本为0的版本
-
-
2.7.x是目前企业中使用的相对稳定版本，应用最广泛，与Spark兼容性优良
-
2.6.x 和3.0.x也是企业中常见版本
修改配置文件
-
hadoop-env.sh
1 [root@bd0801 /]# cd opt/java 2 [root@bd0801 java]# cd modul 3 [root@bd0801 modul]# cd hadoop-2.7.7/ 4 [root@bd0801 hadoop-2.7.7]# cd etc/hadoop/ 5 [root@bd0801 hadoop]# cat hadoop-env.sh
设值java_home
export JAVA_HOME=/opt/java/modul/jdk1.8.0_291
-
core-site.xml(namenode)
1 <configuration> 2 <property> 3 <!-- 设置Hadoop用来存储数据的目录,设置到Hadoop安装目 4 录中 --> 5 <name>hadoop.tmp.dir</name> 6 <value>/opt/java/modul/hadoop-2.7.7/data</value> 7 </property> 8 <property> 9 <!-- 设置HDFS使用的默认连接url --> 10 <name>fs.defaultFS</name> <value>hdfs://bd0801:8020</value> 11 </property> 12 </configuration>
-
hdfs-site.xml(secondnamenode)
1 <configuration> 2 <property> 3 <!-- 配置SecondaryNameNode启动的机器 --> 4 <name>dfs.namenode.secondary.http-address</name> 5 <value>bd0803:50090</value> 6 </property> 7 8 </configuration>
-
slaves
设置启动DataNode服务的节点
1 bd0801 2 bd0802 3 bd0803
分发安装包
scp:安全拷贝，可以实现服务器与服务器之间的数据拷贝
-r: 递归
1 cd modul 2 scp -r hadoop-2.7.7/ bd0802:/opt/java/modul/ 3 scp -r hadoop-2.7.7/ bd0803:/opt/java/modul/ 4 # r 递归发送文件夹 5 # q 静默发送 不显示细节 6 scp -rq 本地文件夹 目标主机:目标路径
配置环境变量
1 echo 'export HADOOP_HOME=/opt/java/modul/hadoop-2.7.7' >> /etc/profile 2 echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> /etc/profile 3 source /etc/profile
对Namenode进行格式化
hdfs namenode -format
注意:如果有修改core hdfs 文件，需要删除data 重新格式化
启动集群尝试操作
1 start-dfs.sh 2 [root@bd01 ~]# jps 3 24952 DataNode 4 24827 NameNode 5 [root@bd02 ~]# jps 6 5124 DataNode 7 [root@bd03 ~]# jps 8 20851 DataNode 9 20924 SecondaryNameNode
-
访问NameNode的webUI
192.168.222.81:50070
面试题：
一：常用端口号
hadoop3.x
HDFS NameNode内部通常端口：8020 /9000 /9820
HDFS NameNode对用户的查询端口：9870
Yarn查看任务运行情况的：8088
历史服务器：19888
hadoop2.x
HDFS NameNode内部通常端口：8020 /9000
HDFS NameNode对用户的查询端口：50070
Yarn查看任务运行情况的：8088
历史服务器：19888
二：常用的配置文件
3.x core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml workers
2.x core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml slaves