目录
第1关：HDFS的基本操作
第2关：HDFS-JAVA接口之读取文件
第3关：HDFS-JAVA接口之上传文件
第4关：HDFS-JAVA接口之删除文件
第1关：HDFS的基本操作
# 1. 启动Hadoop
start-all.sh # 启动Hadoop集群
# 或使用以下两个命令分别启动
start-dfs.sh
start-yarn.sh
# 2. 在HDFS创建目录
hadoop fs -mkdir -p /usr/output/
# 3. 创建本地文件hello.txt并添加内容
echo "HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。" > hello.txt
# 4. 将hello.txt上传至HDFS指定目录
hadoop fs -put hello.txt /usr/output/
# 5. 删除HDFS的指定目录
hadoop fs -rm -r /user/hadoop
# 6. 将HDFS的文件复制到本地目录
hadoop fs -get /usr/output/hello.txt /usr/local/第2关：HDFS-JAVA接口之读取文件
package step2;
import java.io.IOException;
import java.io.InputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
public class FileSystemCat {
public static void main(String[] args) throws IOException {
//请在Begin-End之间添加你的代码，完成任务要求。
//请按照左侧的编程要求进行编写代码
//文件地址为 "hdfs://localhost:9000/user/hadoop/task.txt"
/********* Begin *********/
String uri = "hdfs://localhost:9000/user/hadoop/task.txt";
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(uri), conf);
InputStream in = null;
try {
in = fs.open(new Path(uri));
IOUtils.copyBytes(in, System.out, 4096, false);
} finally {
IOUtils.closeStream(in);
}
/********* End *********/
}
}第3关：HDFS-JAVA接口之上传文件
# 启动Hadoop
start-all.sh
# 创建目录（如果不存在）
mkdir -p /develop/input/
# 创建文件并写入内容
cat > /develop/input/hello.txt << 'EOF'
迢迢牵牛星，皎皎河汉女。
纤纤擢素手，札札弄机杼。
终日不成章，泣涕零如雨。
河汉清且浅，相去复几许？
盈盈一水间，脉脉不得语。
《迢迢牵牛星》
EOF
# 确保文件写入成功
cat /develop/input/hello.txt
# 创建HDFS目标目录（如果不存在）
hadoop fs -mkdir -p /user/tmp/package step3;
import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStream;
import java.net.URI;
import java.io.File;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;
public class FileSystemUpload {
public static void main(String[] args) throws IOException {
/********* Begin *********/
String localSrc = "/develop/input/hello.txt";
String dst = "hdfs://localhost:9000/user/tmp/hello.txt";
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(dst), conf);
// 获取文件大小
File localFile = new File(localSrc);
final long fileSize = localFile.length();
InputStream in = null;
FSDataOutputStream out = null;
try {
in = new BufferedInputStream(new FileInputStream(localFile));
// 显示初始进度
System.out.println("总进度0%");
out = fs.create(new Path(dst), new Progressable() {
public void progress() {
// 这里什么都不做，仅用于创建输出流
}
});
// 复制文件内容
IOUtils.copyBytes(in, out, 4096, false);
// 完成后显示100%进度
System.out.println("总进度100%");
// 显示文件内容
InputStream contentIn = fs.open(new Path(dst));
IOUtils.copyBytes(contentIn, System.out, 4096, true);
} finally {
IOUtils.closeStream(in);
IOUtils.closeStream(out);
}
/********* End *********/
}
}第4关：HDFS-JAVA接口之删除文件
package step4;
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;
public class FileSystemDelete {
public static void main(String[] args) throws IOException {
/********* Begin *********/
// 创建Configuration对象
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create("hdfs://localhost:9000"), conf);
try {
// 1. 删除/user/hadoop/目录 (使用递归删除因为目录非空)
Path hadoopPath = new Path("/user/hadoop");
fs.delete(hadoopPath, true);
// 2. 删除/tmp/test/目录
Path testPath = new Path("/tmp/test");
fs.delete(testPath, true);
// 3. 只列出根目录下的文件和文件夹
FileStatus[] rootStatus = fs.listStatus(new Path("/"));
for (FileStatus status : rootStatus) {
System.out.println("hdfs://localhost:9000" + status.getPath().toUri().getPath());
}
} finally {
fs.close();
}
/********* End *********/
}
}