3、eclipse和maven环境安装以及HDFS读写的demo

安装eclipse和maven环境
 
$ mkdir /home/beifeng/.m2
$ tar zxf repository.tar.gz -C /home/beifeng/.m2
$ cp /opt/modules/apache-maven-3.0./conf/settings.xml /home/beifeng/.m2
 
Windows搭建:
 
1、下载最新版eclipse,j2ee版本(自带maven插件)
2、创建maven工程
3、更改pom.xml
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.5.0</version>
</dependency>
4、等待下载更新
5、创建source folder 名叫resource
6、将环境下的core-site.xml 拷贝至此(他可以直接读取到hdfs的对外地址,因为Configuration初始化的时候会检查这个目录下的core-site.xml )
 
 
HDFS --API
Configuration     --获取配置信息
FileSystem      --获取文件系统对象  get()  getLocal()
FSDataInputStream    --输入 open()
FSDataoutputStream    --输出 create()
 
读  FSDataInputStream
写  FSDataoutputStream   
 
 
读写例子见:ReadWriteFS
 
 
文件合并:  ???
 
nginx  tomcat  apache  --应用服务器
 
/usr/local/apache/logs/
            access1.log    40M
            access2.log    30M
            access3.log    6M
 
        ==> HDFS(不适合存储很多小文件)
        小合并   ==》 大文件  ==》 HDFS
 
合并例子见:PutMerge
上一篇:UVa 11988 Broken Keyboard (a.k.a. Beiju Text)


下一篇:【转】char*,const char*和string的相互转换