windows下eclipse+hadoop2.4开发手册
1.解压下载的hadoop2.4，到任意盘符，例如D:\hadoop-2.4.0。
2.设置环境变量
①新建系统变量，如下所示。
②将新建的HADOOP_HOME变量“%HADOOP_HOME%\bin;”加入到PATH变量里，如下图。
3.将hadoop服务器下的hadoop目录下etc/hadoop目录下的以下四个文件拷贝到自己开发的电脑相应目录下，如下图所示。
4.如果hadoop服务器中上述四个文件配置的是机器名，请在开发的电脑中改为ip地址，例如下图。
5.将hadoop目录下的所有jar包拷贝到自己的项目中，例如下图所示。
①将“D:\hadoop-2.4.0\share\hadoop”目录下及其子目录中所有jar以及子目录下的lib目录下的jar拷贝到自己的项目中。
②我一共拷贝了117个jar，如下图所示。
6.将hadoop服务器上的hadoop目录下的etc/hadoop目录下的以下两个文件拷贝到项目中的src目录下，同样将文件内容中的机器名改为ip。
7.HDFS操作类
其中hdfspath例如："hdfs://192.168.1.103:9000/input/";//要保证你的hdfs空间中有此路径
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import java.util.ArrayList;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;
public class HDFSOperation {
private Configuration conf;
private FileSystem fs;
/**
* @Title: HDFSOperation
* @Description 初始化配置
* @author cpthack
* @see 初始化配置
* @return 对参数的说明
* @param 对方法中某参数的说明
* @example 方法使用例子
* */
public HDFSOperation() throws IOException{
conf = new Configuration();
fs = FileSystem.get(conf);
}
/**
* @Title: upLoad
* @Description 上传文件
* @author cpthack
* @see 上传文件
* @return 对参数的说明
* @param in：文件输入流；hdfsPath：保存在云端的文件路径
* @example 方法使用例子
* */
public boolean upLoad(InputStream in, String hdfsPath){
Path p = new Path(hdfsPath);
try{
if(fs.exists(p)){
System.out.println("文件已经存在");
return false;
}
//获得hadoop系统的连接
FileSystem fs = FileSystem.get(URI.create(hdfsPath),conf);
//out对应的是Hadoop文件系统中的目录
OutputStream out = fs.create(new Path(hdfsPath));
IOUtils.copyBytes(in, out, 4096,true);//4096是4k字节
in.close();
}catch(Exception e){
e.printStackTrace();
}
return true;
}
/**
* @Title: upLoad
* @Description 下载文件
* @author cpthack
* @see 下载文件
* @return 对参数的说明
* @param localPath：文件保存在本地的路径；hdfsPath：文件存在云端的路径
* @example 方法使用例子
* */
@SuppressWarnings("resource")
public boolean downLoad(String hdfsPath,String localPath ){
Path path = new Path(hdfsPath);
try {
if(!fs.exists(path)){
System.out.println("云端文件不存在");
return false;
}
FileSystem hdfs = FileSystem.get(conf);
Path dstPath = new Path(localPath);
hdfs.copyToLocalFile(true,path, dstPath);
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
public boolean downFromCloud(String hdfsPath,String srcFileName){
// 实例化一个文件系统
FileSystem fs;
try {
fs = FileSystem.get(URI.create(hdfsPath), conf);
// 读出流
FSDataInputStream HDFS_IN = fs.open(new Path(hdfsPath));
// 写入流
OutputStream OutToLOCAL = new FileOutputStream(srcFileName);
// 将InputStrteam 中的内容通过IOUtils的copyBytes方法复制到OutToLOCAL中
IOUtils.copyBytes(HDFS_IN, OutToLOCAL, 1024, true);
return true;
} catch (IOException e) {
e.printStackTrace();
return false;
}
}
/**
* @Title: deletePath
* @Description 删除文件
* @author cpthack
* @see 删除文件
* @return 对参数的说明
* @param hdfsPath：文件存在云端的路径
* @example 方法使用例子
* */
public boolean deletePath(String hdfsPath){
try {
fs.delete(new Path(hdfsPath), true);
} catch (IOException e) {
e.printStackTrace();
return false;
}
return true;
}
/**
* @Title: getFileList
* @Description 获取某个目录下所有文件
* @author cpthack
* @see 获取某个目录下所有文件
* @return 对参数的说明
* @param hdfsPath：存在云端的文件夹
* @example 方法使用例子
* */
public ArrayList<FileBean> getFileList(String hdfsPath){
Path path = new Path(hdfsPath);
ArrayList<FileBean> fileList = new ArrayList<FileBean>();
FileStatus[] status;
try {
status = fs.listStatus(path);
for(FileStatus fs : status){
fileList.add(new FileBean(fs));
}
} catch (Exception e) {
e.printStackTrace();
}
return fileList;
}
//创建文件夹
public boolean mkdir(String dir){
FileSystem fs;
try {
fs = FileSystem.get(conf);
fs.mkdirs(new Path(dir));
fs.close();
} catch (IOException e) {
e.printStackTrace();
return false;
}
return true;
}
/*删除文件夹*/
@SuppressWarnings("deprecation")
public boolean deleteDir(String dir){
FileSystem fs;
try {
fs = FileSystem.get(conf);
fs.delete(new Path(dir));
fs.close();
} catch (IOException e) {
e.printStackTrace();
return false;
}
return true;
}
}