一个痛苦的问题的解决,windows上eclipse提交yarn集群的错误

--------一个痛苦的解决问题的过程--------------------------------------
 
 首先确保linux服务器上面的集群环境启动
 
 集群启动
    start-dfs.sh
    stop-dfs.sh 
    start-yarn.sh 
    stop-yarn.sh
    
    
    [hadoop@mini130 sbin]$ jps
        3522 NameNode
        4823 Jps
        3672 DataNode
        3948 ResourceManager
        3852 SecondaryNameNode
        4253 NodeManager
    
    [hadoop@mini131 ~]$ jps
        2219 DataNode
        2365 NodeManager
        2927 Jps
    
 
 
windows里面的eclipse访问linux的yarn集群会出现的错误
1、权限问题
   没有linux的权限,需要在启动的配置参数中加上指定的用户,如在debug的配置中:HADOOP_USER_NAME=hadoop
 
 
 
2、/bin/bash: line 0: fg: no job control一般解决方法
   这个问题是hadoop的bug
   具体可参考http://blog.csdn.net/fansy1990/article/details/27526167
   需要重新写YARNRunner.java,具体的本项目中已有

   
   
3、出现Stack trace: ExitCodeException exitCode=1:
   参考:http://www.cnblogs.com/gaoxing/p/4466924.html
   要把配置的四个文件放到src目录下面
   core-site.xml
   hdfs-site.xml
   mapred-site.xml
   yarn-site.xml
   注意如果要使用如 mini130 这样的,需要在hosts中进行配置
   yarn.application.classpath
   mapreduce.application.classpath都需要编写绝对地址

4、出现时间不一致

    同步时间,用root账号:

    ntpdate time.nist.gov




      本文转自yushiwh 51CTO博客,原文链接:http://blog.51cto.com/yushiwh/1919132,如需转载请自行联系原作者



上一篇:基于Flume的日志收集系统方案参考


下一篇:重磅下载 |2019 Flink Forward 大会37+演讲PDF合辑,不容错过!