安装eclipse和maven环境
$ mkdir /home/beifeng/.m2
$ tar zxf repository.tar.gz -C /home/beifeng/.m2
$ cp /opt/modules/apache-maven-3.0./conf/settings.xml /home/beifeng/.m2
Windows搭建:
1、下载最新版eclipse,j2ee版本(自带maven插件)
2、创建maven工程
3、更改pom.xml
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.5.0</version>
</dependency>
4、等待下载更新
5、创建source folder 名叫resource
6、将环境下的core-site.xml 拷贝至此(他可以直接读取到hdfs的对外地址,因为Configuration初始化的时候会检查这个目录下的core-site.xml )
HDFS --API
Configuration --获取配置信息
FileSystem --获取文件系统对象 get() getLocal()
FSDataInputStream --输入 open()
FSDataoutputStream --输出 create()
读 FSDataInputStream
写 FSDataoutputStream
读写例子见:ReadWriteFS
文件合并: ???
nginx tomcat apache --应用服务器
/usr/local/apache/logs/
access1.log 40M
access2.log 30M
access3.log 6M
==> HDFS(不适合存储很多小文件)
小合并 ==》 大文件 ==》 HDFS
合并例子见:PutMerge