Hadoop笔记

2023-10-04 22:26:58

修改主机名：

hostnamectl set-hostname 主机名

修改ip地址：

vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改为静态获取ip
BOOTPROTO=”static”

添加IP地址
IPADDR=192.168.1.100

添加网关
GATEWAY=192.168.1.2

添加子网掩码
NETMASK=255.255.255.0

添加域名解析器
DNS1=192.168.1.2

修改映射:

vi /etc/hosts

调整防火墙：

查看防火墙状态：
systemctl status firewalld
关闭防火墙：
systemctl stop firewalld
开机不启动防火墙：
systemctl disable firewalld

ping ip 地址：

ping 外部ip地址

ping 百度地址

重启网络：

service network restart

连接moba

jdk、hadoop部署

在opt下面创建software、module 文件夹

安装jdk hadoop

本地部署

伪分布式部署

克隆两台虚拟机

完全分布式部署

免密
修改环境变量
修改配置文件
1、hadoop-env.sh
2、core-site.xml
3、hdfs-site.xml
4、yarn-site.xml
5、mapred-site.xml
集群分发
scp -r 谁 @主机名:地址
格式化namenode
需要删除data和logs文件夹
格式化namenode命令

启动集群

单启:

启动 namenode ：目录 
hdfs --daemon start namenode
启动 datanode ：数据
hdfs --daemon start datanode
启动  resourcemanager：老大
yarn --daemon start resourcemanager
启动 nodemanager：每个电脑的管理者
yarn --daemon start nodemanager
启动 secondarynamenode 对数据备份
hdfs --daemon start secondarynamenode

群启:

start-all.sh

start-yarn.sh

hive配置

安装mysql

下载mysql linux版本安装包

上传解压安装后安装对应的rpm文件

1.获取插件：

yum install -y libaio

2.执行命令（按照顺序）：

sudo rpm -ivh --nodeps mysql-community-common-5.7.36-1.el7.x86_64.rpm

sudo rpm -ivh --nodeps mysql-community-libs-5.7.36-1.el7.x86_64.rpm

sudo rpm -ivh --nodeps mysql-community-libs-compat-5.7.36-1.el7.x86_64.rpm

sudo rpm -ivh --nodeps mysql-community-client-5.7.36-1.el7.x86_64.rpm

sudo rpm -ivh --nodeps mysql-community-server-5.7.36-1.el7.x86_64.rpm

一、切换到/var/lib/mysql，并删除所有文件 rm -rf *

二、重置mysql：

 mysqld --initialize --user=mysql

三、查看生成的随机密码：

cat /var/log/mysqld.log

四、启动mysql服务

systemctl start mysqld

五、登录MySQL数据库

mysql -uroot -p

Enter password:  输入临时生成的密码

六、必须先修改root用户的密码,否则执行其他的操作会报错

mysql> set password = password("新密码");

##### 安装hive

1、下载安装包：apache-hive-3.1.2-bin.tar.gz

2、进行上传解压操作

3、修改系统环境变量

vi /etc/profile

添加内容：

export HIVE_HOME=/opt/module/apache-hive-3.1.2-bin

export PATH=$PATH:$HADOOP_HOME/sbin:$HIVE_HOME/bin

重启环境配置：

source /etc/profile

4、修改hive环境变量

切换到hive文件下的bin文件

编辑hive-config.sh文件

vi hive-config.sh

新增内容：

export JAVA_HOME=/opt/module/jdk1.8.0_212

export HIVE_HOME=/opt/module/apache-hive-3.1.2-bin

export HADOOP_HOME=/opt/module/hadoop-3.2.0

export HIVE_CONF_DIR=/opt/module/apache-hive-3.1.2-bin/conf

码农公寓