【原创干货】大数据Hadoop/Spark开发环境搭建

  已经自学了好几个月的大数据了,第一个月里自己通过看书、看视频、网上查资料也把hadoop(1.x、2.x)、spark单机、伪分布式、集群都部署了一遍,但经历短暂的兴奋后,还是觉得不得门而入。

  只有深入大数据开发才能逐步掌握大数据。而首先要搭开发环境,对于一个像我这样之前只做过plsql开发的人来说,确实走了很多弯路。一开始目标设得很高,直接下源代码编译成jar包进行使用,后来发现其实没什么必要,受到一些非技术因素尤其是天朝特色*网络的影响,sbt基本无法使用,直接下官方编译好的版本就行了。

注:我在搭建开发环境的过程中,在网上查阅了无数资料,也在《hadoop权威指南》等书里找过,但几乎找不到满意的,要不就是过程本身就有问题,要不就是提供的方法在天朝无法实践,还有就是写得过于简略或过于深奥。严重影响了搭建进度。看到本文的朋友们有福了,除去下载软件的时间,基本一个小时之内可以全部搞定。大道至简,很多东西要是不说清楚,写一万句废话也是没用的。

  • IDE:eclipse-Scala-Ide
  • hadoop:hadoop-2.6.2
  • spark:spark-1.2.0

一、hadoop开发环境

第一种方法:

直接用hadoop eclipse插件,再进行简单的配置就可以了。

第二种方法:

直接导入hadoop的jar包,可使用maven工程实现自动导入,也可手动导入
手动导入:
hdfs和mapred:
C:\Software\hadoop\hadoop-2.6.2\share\hadoop\common\
C:\Software\hadoop\hadoop-2.6.2\share\hadoop\common\lib\
C:\Software\hadoop\hadoop-2.6.2\share\hadoop\hdfs\
hive:
C:\Software\hadoop\apache-hive-2.1.0-bin\lib\
hbase:
E:\Hadoop\hbase-0.94.2-security\hbase-0.94.2-security.jar
E:\Hadoop\hbase-0.94.2-security\hbase-0.94.2-security-tests.jar
E:\Hadoop\hbase-0.94.2-security\lib\
其实不用导入那么多包,以后用maven来自动导入。
导入后,选中这些jar包,Build Path->Add to Build Path
 

二、spark开发环境

下载scala-ide。位数需要与本地jdk版本位数一致,直接解压即可作为eclipse使用

新建scala project

在工程名处右击点Properties->Java Builder Path->Libraries->Add External JARs->添加编译后spark assembly包(可以直接从官网下载编译后的版本里找出来)
有很多时候需要配置Run Configurations,重点关注Main和Arguments两项里的内容。如果没有部署spark,可以直接在VM arguments里添加-Dspark.master=local,或者直接在代码里添加conf.setMaster("local")
so easy!
上一篇:200行的Node爬虫花了半天的时间把网易云上的30万首歌曲信息都抓取回来了


下一篇:Jupyter配置Spark开发环境