hadoop集群安装故障解决

nodemanager进程解决:http://blog.csdn.net/baiyangfu_love/article/details/13504849

编译安装:http://blog.csdn.net/ilovemilk/article/details/44465487

hadoop默认不提供64位的版本,需要自己编译安装

故障:http://blog.csdn.net/u014595668/article/details/52040810

hadoop2.6.2 native架包:http://download.csdn.net/download/kuangkunkui/9298421

hadoop例子:http://www.java2s.com/Code/Jar/h/Downloadhadoopexamples111jar.htm

故障解决:http://wenku.baidu.com/link?url=FeTHNO9ZnIJulDHbJMz7WyoI4RV4Amw6Lfy21xMWtLhlB-21WDolwKlAp2IMDmiJQEwqz4ji2Y8ScKx9sdWbLhInkcfXDGwuWMCi0bxC97C

命令: bin/hadoop jar hadoop-examples-*.jar wordcount /yangqing hdfsOutput

接触警告:

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

如何让你的作业在Hadoop集群中真正实现分布式运行

http://www.cnblogs.com/beanmoon/archive/2013/05/09/3068729.html

启动报错解决:

http://shisiyou.blog.51cto.com/9864147/1608060

启动报错解决:

http://www.chinahadoop.cn/classroom/5/thread/43

warning解决产生这个warning的原因是apache hadoop2.7需要使用2.1.4的glibc而我们云主机操作系统的lib是2.1.2:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

1.

# ll /lib64/libc.so.6    //查看当前系统glibc版本

$ export HADOOP_ROOT_LOGGER=DEBUG,console

hadoop fs -ls /

此事会输出debug信息,看到warning找出hadoop需要的glibc版本

2.下载对应版本的glibc安装

下载地址,找到对应版本的glibc

http://ftp.gnu.org/gnu/glibc/

[root@node1 ~]# export CFLAGS="-g -O2"

[root@node1 ~]# ./glibc-2.14.1/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin

[root@node1 ~]# make

[root@node1 ~]# make install

此事再尝试hadoop命令,一句没有报错了

[hadoop@node1 hadoop-2.7.0]$ bin/hadoop fs -ls /

Found 1 items

drwxr-xr-x   - hadoop supergroup          0 2015-05-21 09:12 /home

直接说步骤和流程:

1、到http://www.gnu.org/software/libc/下载最新版本,我这里下载了glibc-2.14.tar.gz 这个版本,解压到任意目录准备编译(/usr/local)

2、>:cd /usr/local 解压 >:tar -xzvf glibc-2.14.tar.gz

3、需要安装编译工具 gcc >:yum install gcc

4、到解压目录 >:cd /usr/local/glibc-2.14

5、按顺序执行下面的命令

>:mkdir build

>:cd build

>:../configure --prefix=/opt/glibc-2.14

>:make -j4

>:sudo make install

5、安装完了,还是不行。别急,还需要下面两个命令:

>:cp -r /etc/ld.so.c* /opt/glibc-2.14/etc/
>:ln -sf /opt/glibc-2.14/lib/libc-2.14.so /lib64/libc.so.6 这样就算完了。参考链接: http://www.cnblogs.com/gw811/p/3676856.html http://bbs.csdn.net/topics/340033648 http://ask.csdn.net/questions/185515 http://blog.chinaunix.net/uid-1840233-id-3147304.html 附:由于spserver 还无法install(install后有其他路径依赖问题),只能用spserver &来启动。但是,在xshell启动后,关闭xshell它会自动关闭, 找到的解决方案是使用nohup执行程序: >:nohup /root/start.sh & 但是有时候在这一步会有问题,当把终端关闭后,进程会自动被关闭,察看nohup.out可以看到在关闭终端瞬间服务自动关闭。
有个操作终端时的细节:当shell中提示了nohup成功后还需要按终端上键盘任意键退回到shell输入命令窗口,然后通过在shell中输入exit来退出终端 nohup-真正的Shell后台运行

  

上一篇:hadoop 集群调优实践总结


下一篇:蓝的成长记——追逐DBA(18):小机上WAS集群故障,由一次更换IP引起