在之前的总结中,对文件的上传和下载都是默认的全部大小。
那么,如何做到上传文件时,只上传这个文件的一部分或只下载文件的某一部分?
官方实现的代码:
InputStream in=null;
OutputStream out = null;
try {
in = srcFS.open(src);
out = dstFS.create(dst, overwrite);
IOUtils.copyBytes(in, out, conf, true);
} catch (IOException e) {
IOUtils.closeStream(out);
IOUtils.closeStream(in);
throw e;
}
可以看到,变量in
就是输入流,即要上传的文件;变量out
就是输入流,先目标文件系统写入。
变量srcFS
:目标文件所在路径,调用了open()
方法便生成了输入流;变量dstFS
:写入路径,调用create()
方法便生成了输出流。然后使用copyBytes()
方法即流拷贝,并最后传入参数true
,表示方法结束后关闭输入输出流。但是使用流拷贝也是全部的下载上传,下面我参照官方的写法可以实现自定义大小上传和下载!
首先对一些变量名的解释:fs
:HDFS的文件系统localFs
:本地的文件系统
public class TestCustomUploadAndDownload {
private FileSystem fs;
private FileSystem localFs;
private Configuration conf = new Configuration();
@Before
public void init() throws IOException, URISyntaxException {
//创建一个客户端对象
fs=FileSystem.get(new URI("hdfs://hadoop101:9000"),conf);
localFs=FileSystem.get(new Configuration());
}
@After
public void close() throws IOException {
if (fs !=null) {
fs.close();
}
}
// 从本地文件系统上传文件到HDFS,只上传文件的前10M
@Test
public void testCustomUpload() throws Exception {
//提供两个Path,和两个FileSystem
Path src=new Path("e:/悲惨世界(英文版).txt");
Path dest=new Path("/悲惨世界(英文版)10M.txt");
// 使用本地文件系统中获取的输入流读取本地文件
FSDataInputStream is = localFs.open(src);
// 使用HDFS的分布式文件系统中获取的输出流,向dest路径写入数据
FSDataOutputStream os = fs.create(dest, true);
// 1k
byte [] buffer=new byte[1024];
// 流中数据的拷贝
for (int i = 0; i < 1024 * 10; i++) {
is.read(buffer);
os.write(buffer);
}
//关流
IOUtils.closeStream(is);
IOUtils.closeStream(os);
}
}