hadoop笔记

  • 安装VM CentOS
  1. vm蓝屏
  2. Centos文件放在同一个文件夹下

二.修改主机名,ip,映射  hostnamectl set-hostname 主机名    ,vi /etc/hostname(重启)

Ip修改   vi /etc/sysconfig/network-scriots/ifcfg-ens33

映射 vi  /etc/hosts

三.网络配置   ①虚拟机

②windows电脑  

③关闭防火墙  查看防火墙状态:systemctl status firewalld   

关闭防火墙:systemctl status firewalld  

④ping  ip地址    

Ping外部ip地址   

Ping 百度网址  

⑤重启网络 service network restart

  • 连接moba
  • Jdk   hadoop部署

①创建两个文件夹,在opt下面,创建一个software和moduld文件夹

②安装jik和hadoop

③本地部署

④伪分布式部署

⑤克隆两台虚拟机

⑥完全分布式部署

免密

修改环境变量

修改配置文件  hadoop-env.sh  hdfs-site.xml   arn-site.xml  mapred-site.xml

设置集群分发   scp  -f 用户名@主机名: 地址

格式化namenode   需要删除data和logs文件夹  rm -f data   re -f logs

格式化命令namenode  

启动集群  

①单启

Hdfs --daemon start nameenode

Hdfs --daemon start datanode

Yarn --deamon start resourcemanger

②群启

start-all.sh

start-dfs.sh

start-yarn.sh

六.Hive配置

安装对应的rpm文件

①安装mysql    下载myaql linux安装包   将其上传到linux /opt/software中

解压到 /opt/module下

删除原来的nysql   测验虚拟机是否能够上网,获取插件:yum install-ylibaio

依次执行命令(按照顺序)

切换到/var/lib/myaql,并删除所有的文件

初始化mysql:mysql--initialize--user=symql

查看随机生成的密码: cat/var/log/

启动mysql服务:systemctl start sysqld

登录mysql:mysql-uroot -p

②安装hive

下载安装包 apache-hive-3.1.3-bin.tar.gz

上传到/opt/software/路径

解压ter-zxvf apache-hive-3.1.3-bin.tar.gz.-C /opt/module/

修改系统环境变量 vi/etc/profile 添加内容

保存 source /etc/profile

修改hive环境  cd/opt/module/hive/bin/回车后 vi hive-config.sh

拷贝hive配置文件:cd /opt/software/apache-hive-3.1.3-bin/conf/回车 cp hive-default.xml.template hive-site.xml

修改hive配置文件

上传mysql驱动包mysql-connector-java-8.0.15.zip 到/opt/software/apache-hive-3.1.3-bin/lib/文件夹下

确保mysql数据库里有名称为hive的数据库,然后初始化元数据库 chematool-dbType mysql-intSchema

确保hadoop启动 然后启动hive命令:hive然后检测是否启动成功show databases:

③修改环境配置

配置系统文件命令 vi /tc/profile

添加内容; expot HIVE_HOME=/opt/module/apach-hive3,1,2-bin

Expot PATH=SPATH:SHADOOP_HOME/sbin:SHIVE_HOME/bin

保存系统配置环境 souece /etc/profile

④启动

启动hadoop集群 命令start-all.sh

启动hive命令: hive

显示数据库命令: hive>show datababases;

出现表格及启动成功

七.zookeeper安装

  1. 解压

cd /opt/module/

tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz

  1. 创建数据库文件和目录文件

cd /opt/module/apache-zookeeper-3.5.5-bin/

mkdir data

mkdir log

  1. 拷贝文件 配置文件更该

cd /opt/module/apache-zookeeper-3.5.7-bin/conf/

cp zoo_sample.cfg zoo.cfg

  1. 配置服务器mysql

cd /opt/module/apache-zookeeper-3.5.5-bin/data/

touch myid

  1. 集群拷贝

scp -r /opt/module/apache-zookeeper-3.5.5-bin root@hadoop101:/opt/module/apache-zookeeper-3.5.5-bin

scp -r /opt/module/apache-zookeeper-3.5.5-bin root@hadoop102:/opt/module/apache-zookeeper-3.5.5-bin

  1. 集群myid更改

进入到每个节点,修改myid值

集群系统环境变量添加:vi /etc/profile

export ZOOKEEPER_HOME=/opt/module/apache-zookeeper-3.5.5-bin

export PATH=$PATH:$ZOOKEEPER_HOME/bin

保存系统环境变量:source /etc/profile

关闭集群防火墙

  1. 启动就群

cd /opt/module/apache-zookeeper-3.5.7-bin

zkServer.sh start

zkServer.sh status

  • HBase安装

文件解压    

cd /opt/module/

tar -zxvf hbase-2.2.0-bin.tar.gz

系统环境变量增加

vi /etc/profile

export HBASE_HOME=/opt/module/hbase-2.2.0

export PATH=$PATH:$HBASE_HOME/bin

保存系统环境变量:source /etc/profile

修改hbase变量

cd /opt/module/hbase-2.2.0/conf/

vi hbase-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_212/

export HBASE_MANAGES_ZK=false

上一篇:[Objective-C] - NSObject


下一篇:带你读《中老年人学智能手机应用全攻略》之二:必须学会的手机应用