win764bit下Eclipse连接ubuntu中hadoop2.6经验总结

    作为初学者,总结一下配置hadoop2.6的心得体会。

    首次配置时采用虚拟机中运行Ubuntu14.04,直接配置hadoop2.6,并在其中运行Eclipse。于自己的机子性能较为一般(4核+4G),尝试几个案例时就出现卡的现象。后来尝试CYGWIN代替Ubuntu,但各种配置问题不断产生,不得不放弃。改为在win7(64bit)下采用Eclipse连接ubuntu中hadoop2.6,为了提升性能,ubuntu改为命令行模式下启动,去掉图形化界面。

    Ubuntu下配置hadoop2.6并没遇到太多问题,参照一下博文:                           http://blog.csdn.net/ggz631047367/article/details/42426391

     

     Win7下将hadoop2.6插件配置到Eclipse,参照博文设置虚拟机中Ubuntu与Eclipse配置:http://www.xuebuyuan.com/1415322.html

    文中提及虚拟机网络连接采用桥接模式,本人在实现中采用NAT也是可行的,并未遇到IP变动的问题。插件配置中要涉及到hadoop.tmp.dir的配置是与网上其他攻略不同的地方,在实践中曾因忽略此处,eclipse无法连接上HDFS。


    连接上HDFS文件系统后,建立工程,复制WordCount代码,如果采用的是官网上的Hadoop2.6,因为缺少hadoop.dll与winutils.exe会有异常出现,2.6版本到

http://download.csdn.net/detail/u014310430/8402965#comment下载  亲测可用。放到WIN7下hadoop文件的BIN,中,同时配置环境变量HADOOP_HOME和在Path变量中加入%HADOOP_HOME%\bin,重启电脑。


    Ubuntu去图形界面

    sudo vim /etc/default/gru

     找到:GRUB_CMDLINE_LINUX_DEFAULT="quiet splash",应该是在第11行。复制本行然后把quiet splash替换成text。保存后执行命令更新

    sudo update-grub 

     重启后就直接进入文字界面。

    sudo reboot


本文出自 “不写代码的艺术家” 博客,请务必保留此出处http://slocum.blog.51cto.com/8191426/1612249

win764bit下Eclipse连接ubuntu中hadoop2.6经验总结

上一篇:Adroid动态加载Apk-插件化技术框架(动态代理方案)


下一篇:C#多个Windows Service 传递给ServiceBase时,只运行其中一个的解决办法