问题描述
今天使用 hadoop 时，发现无法通过下面命令上传文件到 hadoop 文件系统，会报错。
bin/hadoop fs -put input .
运行 jps 后，输出如下：
ResourceManager
NameNode
NodeManager
Jps
SecondaryNameNode
可见 datanode 挂掉了。
用下面的命令重启 hadoop ，重启后仍然没有 datanode 的进程。
sbin/stop-all.sh
sbin/start-all.sh
原因思考
近期同时安装了多个版本的 hadoop ，并且安装后重新格式化过 hdfs ，这个可能是引起问题的原因。
解决方法
本人使用的是 hadoop 2.7.2 版本。
1. 关闭集群
sbin/stop-all.sh
2. 在配置文件 etc/hadoop/hdfs-site.xml 中找到 dfs.name.dir / dfs.data.dir 的路径。我的配置如下
<configuration>
<property>
<name>dfs.name.dir</name>
<value>file:///Users/grs/hadoopinfra/hdfs/namenode </value>
</property> <property>
<name>dfs.data.dir</name>
<value>file:///Users/grs/hadoopinfra/hdfs/datanode </value>
</property>
</configuration>
3. 将上述路径的的目录重命名，如将 Users/grs/hadoopinfra 重命名为 Users/grs/hadoopinfra.bak_20160410 ，或者全部删掉(rm -R)
4. 格式化 namenode
bin/hadoop namenode -format
5. 最后，重启
sbin/start-all.sh
运行效果
运行 jps 能看到 datanode 的进程。
DataNode
ResourceManager
Jps
NameNode
NodeManager
SecondaryNameNode
也能成功上传文件
grs:hadoop grs$ hadoop dfs -put input ./
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it. // :: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
grs:hadoop grs$
参考资料 :