Hadoop分布式部署——要点

2023-03-13 08:25:22

这里只记录几个要点，比较容易出问题的地方。

1.各服务器必须有相同的用户（便于使用相同的用户ssh登录）
2.ssh互通，配置无密码登录ssh-keygen -t rsa，将id_rsa.pub的内容相互复制到各主机的authorized_keys文件中，注意设置authorized_keys的权限为600（必须的，不然ssh登录时还是提示密码）；修改/etc/ssh/ssh_config配置文件，启用RSA和公钥认证方式，并重启sshd服务。（为了保证可以通过ssh登录其他服务器，启动或停止hadoop）
3.各主机配置好$HADOOP_HOME（用于ssh登录后确定Hadoop的安装路径），及$PATH环境变量，并配置好hadoop相关配置（这个参考官方的文档就可以了），在Master节点启动start-all.sh即可，注意防火墙开放相关端口，使用hadoop dfsadmin -report查看hadoop的运行状态。