已经自学了好几个月的大数据了，第一个月里自己通过看书、看视频、网上查资料也把hadoop（1.x、2.x）、spark单机、伪分布式、集群都部署了一遍，但经历短暂的兴奋后，还是觉得不得门而入。
只有深入大数据开发才能逐步掌握大数据。而首先要搭开发环境，对于一个像我这样之前只做过plsql开发的人来说，确实走了很多弯路。一开始目标设得很高，直接下源代码编译成jar包进行使用，后来发现其实没什么必要，受到一些非技术因素尤其是天朝特色*网络的影响，sbt基本无法使用，直接下官方编译好的版本就行了。
注：我在搭建开发环境的过程中，在网上查阅了无数资料，也在《hadoop权威指南》等书里找过，但几乎找不到满意的，要不就是过程本身就有问题，要不就是提供的方法在天朝无法实践，还有就是写得过于简略或过于深奥。严重影响了搭建进度。看到本文的朋友们有福了，除去下载软件的时间，基本一个小时之内可以全部搞定。大道至简，很多东西要是不说清楚，写一万句废话也是没用的。
- IDE:eclipse-Scala-Ide
- hadoop:hadoop-2.6.2
- spark:spark-1.2.0
一、hadoop开发环境
第一种方法：
直接用hadoop eclipse插件，再进行简单的配置就可以了。
第二种方法：
直接导入hadoop的jar包，可使用maven工程实现自动导入，也可手动导入
手动导入：
hdfs和mapred:
C:\Software\hadoop\hadoop-2.6.2\share\hadoop\common\
C:\Software\hadoop\hadoop-2.6.2\share\hadoop\common\lib\
C:\Software\hadoop\hadoop-2.6.2\share\hadoop\hdfs\
hive:
C:\Software\hadoop\apache-hive-2.1.0-bin\lib\
hbase:
E:\Hadoop\hbase-0.94.2-security\hbase-0.94.2-security.jar
E:\Hadoop\hbase-0.94.2-security\hbase-0.94.2-security-tests.jar
E:\Hadoop\hbase-0.94.2-security\lib\
其实不用导入那么多包，以后用maven来自动导入。
导入后，选中这些jar包，Build Path->Add to Build Path
二、spark开发环境
下载scala-ide。位数需要与本地jdk版本位数一致，直接解压即可作为eclipse使用
新建scala project
在工程名处右击点Properties->Java Builder Path->Libraries->Add External JARs->添加编译后spark assembly包（可以直接从官网下载编译后的版本里找出来）
有很多时候需要配置Run Configurations，重点关注Main和Arguments两项里的内容。如果没有部署spark，可以直接在VM arguments里添加-Dspark.master=local，或者直接在代码里添加conf.setMaster("local")
so easy！