Windows下配置hadoop进行本地开发

Windows下配置hadoop进行本地开发

jdk、windows本地hadoop安装目录要求:不包含中文、不包含空格

1、修改hosts文件

  • 修改hosts文件
  • 所在位置C:\Windows\System32\drivers\etc\hosts
  • 将虚拟机中/etc/hosts文件以下内容,添加到windows的hosts文件末尾(根据自己的实际情况,修改ip地址)
192.168.198.136 node01
192.168.198.137 node02
192.168.198.138 node03

2、安装jdk

安装jdk8版本就行,这个比较简单,此处省略

3、windows下安装hadoop

我选择的hadoop版本是hadoop-3.1.4

1、在官网下载压缩包hadoop-3.1.4.tar.gz
2、找一个文件夹进行解压,我选择的文件夹是  E:\hadoop
3、从github中下载hadoop运行需要的bin目录,地址:https://github.com/cdarlint/winutils

Windows下配置hadoop进行本地开发

Windows下配置hadoop进行本地开发

4、将复制的这些文件放到hadoop3.1.4中(粘贴并覆盖)

4、配置hadoop环境变量

1、配置一个HADOOP_HOME

E:\hadoop\hadoop-3.1.4

Windows下配置hadoop进行本地开发

2、把bin和sbin目录加入path中,便于直接使用命令

%HADOOP_HOME%\bin;
%HADOOP_HOME%\sbin;

Windows下配置hadoop进行本地开发

5、验证是否安装成功

1、打开cmd窗口
2、执行hadoop命令

如果出现如下错误:

Windows下配置hadoop进行本地开发

就说明编码不匹配,hadoop默认的是linux的编码,我们需要换成windows的编码

Windows下配置hadoop进行本地开发

打开nodepad++,把这四个文件的编码,由linux编码转化为windows编码。

Windows下配置hadoop进行本地开发

上一篇:使用WebApi加Token验证(JWT)


下一篇:VS2019卡在创建Windows恢复点