- 安装VM CentOS
- vm蓝屏
- Centos文件放在同一个文件夹下
二．修改主机名，ip，映射 hostnamectl set-hostname 主机名 ，vi /etc/hostname(重启)
Ip修改 vi /etc/sysconfig/network-scriots/ifcfg-ens33
映射 vi /etc/hosts
三．网络配置 ①虚拟机
②windows电脑
③关闭防火墙 查看防火墙状态：systemctl status firewalld
关闭防火墙：systemctl status firewalld
④ping ip地址
Ping外部ip地址
Ping 百度网址
⑤重启网络 service network restart
- 连接moba
- Jdk hadoop部署
①创建两个文件夹，在opt下面，创建一个software和moduld文件夹
②安装jik和hadoop
③本地部署
④伪分布式部署
⑤克隆两台虚拟机
⑥完全分布式部署
免密
修改环境变量
修改配置文件 hadoop-env.sh hdfs-site.xml arn-site.xml mapred-site.xml
设置集群分发 scp -f 用户名@主机名: 地址
格式化namenode 需要删除data和logs文件夹 rm -f data re -f logs
格式化命令namenode
启动集群
①单启
Hdfs --daemon start nameenode
Hdfs --daemon start datanode
Yarn --deamon start resourcemanger
②群启
start-all.sh
start-dfs.sh
start-yarn.sh
六．Hive配置
安装对应的rpm文件
①安装mysql 下载myaql linux安装包 将其上传到linux /opt/software中
解压到 /opt/module下
删除原来的nysql 测验虚拟机是否能够上网，获取插件：yum install-ylibaio
依次执行命令（按照顺序）
切换到/var/lib/myaql,并删除所有的文件
初始化mysql：mysql--initialize--user=symql
查看随机生成的密码： cat/var/log/
启动mysql服务：systemctl start sysqld
登录mysql：mysql-uroot -p
②安装hive
下载安装包 apache-hive-3.1.3-bin.tar.gz
上传到/opt/software/路径
解压ter-zxvf apache-hive-3.1.3-bin.tar.gz.-C /opt/module/
修改系统环境变量 vi/etc/profile 添加内容
保存 source /etc/profile
修改hive环境 cd/opt/module/hive/bin/回车后 vi hive-config.sh
拷贝hive配置文件：cd /opt/software/apache-hive-3.1.3-bin/conf/回车 cp hive-default.xml.template hive-site.xml
修改hive配置文件
上传mysql驱动包mysql-connector-java-8.0.15.zip 到/opt/software/apache-hive-3.1.3-bin/lib/文件夹下
确保mysql数据库里有名称为hive的数据库，然后初始化元数据库 chematool-dbType mysql-intSchema
确保hadoop启动 然后启动hive命令：hive然后检测是否启动成功show databases：
③修改环境配置
配置系统文件命令 vi /tc/profile
添加内容; expot HIVE_HOME=/opt/module/apach-hive3,1,2-bin
Expot PATH=SPATH:SHADOOP_HOME/sbin:SHIVE_HOME/bin
保存系统配置环境 souece /etc/profile
④启动
启动hadoop集群 命令start-all.sh
启动hive命令： hive
显示数据库命令： hive>show datababases;
出现表格及启动成功
七．zookeeper安装
- 解压
cd /opt/module/
tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz
- 创建数据库文件和目录文件
cd /opt/module/apache-zookeeper-3.5.5-bin/
mkdir data
mkdir log
- 拷贝文件 配置文件更该
cd /opt/module/apache-zookeeper-3.5.7-bin/conf/
cp zoo_sample.cfg zoo.cfg
- 配置服务器mysql
cd /opt/module/apache-zookeeper-3.5.5-bin/data/
touch myid
- 集群拷贝
scp -r /opt/module/apache-zookeeper-3.5.5-bin root@hadoop101:/opt/module/apache-zookeeper-3.5.5-bin
scp -r /opt/module/apache-zookeeper-3.5.5-bin root@hadoop102:/opt/module/apache-zookeeper-3.5.5-bin
- 集群myid更改
进入到每个节点，修改myid值
集群系统环境变量添加：vi /etc/profile
export ZOOKEEPER_HOME=/opt/module/apache-zookeeper-3.5.5-bin
export PATH=$PATH:$ZOOKEEPER_HOME/bin
保存系统环境变量：source /etc/profile
关闭集群防火墙
- 启动就群
cd /opt/module/apache-zookeeper-3.5.7-bin
zkServer.sh start
zkServer.sh status
- HBase安装
文件解压
cd /opt/module/
tar -zxvf hbase-2.2.0-bin.tar.gz
系统环境变量增加
vi /etc/profile
export HBASE_HOME=/opt/module/hbase-2.2.0
export PATH=$PATH:$HBASE_HOME/bin
保存系统环境变量：source /etc/profile
修改hbase变量
cd /opt/module/hbase-2.2.0/conf/
vi hbase-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_212/
export HBASE_MANAGES_ZK=false