Windows下配置hadoop进行本地开发
jdk、windows本地hadoop安装目录要求:不包含中文、不包含空格
1、修改hosts文件
- 修改hosts文件
- 所在位置
C:\Windows\System32\drivers\etc\hosts
- 将虚拟机中/etc/hosts文件以下内容,添加到windows的hosts文件末尾(根据自己的实际情况,修改ip地址)
192.168.198.136 node01
192.168.198.137 node02
192.168.198.138 node03
2、安装jdk
安装jdk8版本就行,这个比较简单,此处省略
3、windows下安装hadoop
我选择的hadoop版本是hadoop-3.1.4
1、在官网下载压缩包hadoop-3.1.4.tar.gz
2、找一个文件夹进行解压,我选择的文件夹是 E:\hadoop
3、从github中下载hadoop运行需要的bin目录,地址:https://github.com/cdarlint/winutils
4、将复制的这些文件放到hadoop3.1.4中(粘贴并覆盖)
4、配置hadoop环境变量
1、配置一个HADOOP_HOME
E:\hadoop\hadoop-3.1.4
2、把bin和sbin目录加入path中,便于直接使用命令
%HADOOP_HOME%\bin;
%HADOOP_HOME%\sbin;
5、验证是否安装成功
1、打开cmd窗口
2、执行hadoop命令
如果出现如下错误:
就说明编码不匹配,hadoop默认的是linux的编码,我们需要换成windows的编码
打开nodepad++,把这四个文件的编码,由linux编码转化为windows编码。