hadoop使用问题

前提 环境 ubuntu 安装hadoop 已经有一段时间

1.启动的时候提示 

    Connection reset by peer 这个查看日志,里面有说 ssh里面某个文件的权限太大 这个ssh里修改下就可以

2.EPERM: Operation not permitted

  这个之前以为是权限问题,后来改成777依然不行,最后重新格式化namenode后解决

    bin/hadoop namenode -format

3.新建文件夹之前要先新建用户目录。

  /hadoop/bin$ ./hdfs dfs -mkdir -p /user/hadoop

4.namenode 因为某个文件夹的权限问题引起启动失败。日志里可以看到,这个chmod 之后就可以

5.File Exception between local host is: "ubuntu/127.0.1.1"; destination host is: "localhost":9000;

这个错误在format namenode后解决了

6. All directories in dfs.datanode.data.dir are invalid

  忽然出现这个问题,上次使用还很正常的,为什么每次关闭之后似乎就不能用了 最后在Overflow里 http://*.com/questions/8076439/namenode-not-getting-started 发现我的hadoop.tmp.dir 并没有配置而是使用了默认的,所以在每次重启之后这个东西都会被删除,然后导致了问题。于是修改hdfs-site.xml

<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>

再之后重新格式化节点就可以了.有说权限不对的,实际操作了下好像没有用,请各位童鞋结合自己实际情况操作,请大家安装配置的时候务必将目录修改到持久化的目录,而不是使用默认的这个目录

7.Unhealthy Nodes 这里我这边是在yarn-site.xml下配置了yarn.nodemanager.local-dirs 因为没有制定目录使用的是默认的路径所以出问题了 这里可以使用        yarn node -list -all 查看节点的状况。 配置之后重启了下服务 刷新下页面后已经没有不健康的节点了.

  

上一篇:ArrayList和LinkedList遍历方式及性能对比分析


下一篇:volley开源库乱码问题总结(持续更新)