1 package hdfs;
2
3 import java.net.URI;
4
5 import org.apache.hadoop.conf.Configuration;
6 import org.apache.hadoop.fs.BlockLocation;
7 import org.apache.hadoop.fs.FSDataInputStream;
8 import org.apache.hadoop.fs.FSDataOutputStream;
9 import org.apache.hadoop.fs.FileStatus;
10 import org.apache.hadoop.fs.FileSystem;
11 import org.apache.hadoop.fs.Path;
12 import org.apache.hadoop.hdfs.DistributedFileSystem;
13 import org.apache.hadoop.hdfs.protocol.DatanodeInfo;
14 import org.apache.hadoop.io.IOUtils;
15
16 /** hadoop Hdfs 常规操作 */
17 public class Hdfs {
18
19 // 入口 main
20 public static void main(String[] args) throws Exception {
21 // 将本地文件上传至HDFS中
22 // uploadFile();
23
24 // 在HDFS上创建文件
25 // createFile();
26
27 // 在HDFS上创建文件夹目录
28 // createDir();
29
30 // 给HDFS上文件重新命名
31 // fileRename();
32
33 // 删除文件
34 // deleteFile();
35
36 // 读取文件内容
37 // readFile();
38
39 // 判断文件是否存在
40 // isFileExists();
41
42 // 查看文件状态和最后修改时间
43 // fileLastModify();
44
45 // 查看文件位置，查看文件块，在哪台机器上(datanode)
46 // fileLocation();
47
48 // DataNode列表
49 // nodeList();
50
51 // 上传单词文本文档到HDFS上
52 // uploadWords();
53
54 // 其他test
55 // createDir2();
56 // deleteFile2();
57 // createEmptyFile();
58 // deleteEmptyFile();
59 }
60
61 static FileSystem getFileSystem() throws Exception {
62 // HDFS URI地址及端口号
63 URI uri = new URI("hdfs://localhost:9000/");
64 // 使用HDFS文件系统并提供服务器路径，端口号在core-site.xml中配置
65 FileSystem fileSystem = FileSystem.get(uri, new Configuration());
66 return fileSystem;
67 }
68
69 public static void uploadFile() throws Exception {
70
71 FileSystem hdfs = getFileSystem();
72 // 本地文件地址
73 Path src = new Path("D:/data/SBSNTEST111.txt");
74 // 文件在HDFS上存放的地址
75 Path dst = new Path("/");
76 FileStatus files[] = hdfs.listStatus(dst);
77 for (FileStatus file : files) {
78 System.out.println(file.getPath());
79 }
80 System.out.println("------------after upload--------------------");
81 hdfs.copyFromLocalFile(src, dst);
82 files = hdfs.listStatus(dst);
83 for (FileStatus file : files) {
84 System.out.println(file.getPath());
85 }
86 System.out.println("------------upload ok--------------------");
87
88 // 将路径指定文件的内容输出到stdout
89 // hadoop fs -cat hdfs://localhost:9000/SBSNTEST111.txt
90 // 返回结果，文本文件内容
91
92 // 查看指定路径文件
93 // hadoop fs -ls hdfs://localhost:9000/
94 // 返回结果，如下：
95 // Found 1 items
96 //-rw-r--r-- 3 jiangshan supergroup 573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
97 }
98
99 public static void createFile() throws Exception {
100
101 byte[] buff = "Hello Hadoop 888@Chinasofti\n".getBytes();
102 FileSystem hdfs = getFileSystem();
103 Path dfs = new Path("/testcreate");
104 FSDataOutputStream outputStream = hdfs.create(dfs);
105 outputStream.write(buff, 0, buff.length);
106 outputStream.close();
107 System.out.println("------------createFile ok--------------------");
108
109 // 查看指定路径文件
110 // hadoop fs -ls hdfs://localhost:9000/
111 // 返回结果，如下：
112 // Found 2 items
113 //-rw-r--r-- 3 jiangshan supergroup 573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
114 //-rw-r--r-- 3 jiangshan supergroup 28 2021-09-08 16:01 hdfs://localhost:9000/testcreate
115
116 // 将路径指定文件的内容输出到stdout
117 // hadoop fs -cat hdfs://localhost:9000/testcreate
118 // 返回结果，文本文件内容
119 // Hello Hadoop 888@Chinasofti
120 }
121
122 public static void createDir() throws Exception {
123 FileSystem hdfs = getFileSystem();
124 Path dfs = new Path("/TestDir");
125 hdfs.mkdirs(dfs);
126 System.out.println("------------createDir ok--------------------");
127
128 // 查看指定路径文件
129 // hadoop fs -ls hdfs://localhost:9000/
130 // 返回结果，如下：
131 //Found 3 items
132 //-rw-r--r-- 3 jiangshan supergroup 573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
133 //drwxr-xr-x - jiangshan supergroup 0 2021-09-08 16:06 hdfs://localhost:9000/TestDir
134 //-rw-r--r-- 3 jiangshan supergroup 28 2021-09-08 16:01 hdfs://localhost:9000/testcreate
135
136 // 查看指定路径文件
137 // hadoop fs -ls hdfs://localhost:9000/TestDir
138 // 返回结果为空
139 }
140
141 public static void fileRename() throws Exception {
142 FileSystem hdfs = getFileSystem();
143 Path frpaht = new Path("/testcreate");//原文件名称
144 Path topath = new Path("/testcreate2");//新文件名称
145 boolean isRename = hdfs.rename(frpaht, topath);
146 String result = isRename ? "成功" : "失败";
147 System.out.println("文件重命名结果为：" + result);
148 System.out.println("------------fileRename ok--------------------");
149
150 // 查看指定路径文件
151 // hadoop fs -ls hdfs://localhost:9000/
152 // 返回结果，如下：
153 //Found 3 items
154 //-rw-r--r-- 3 jiangshan supergroup 573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
155 //drwxr-xr-x - jiangshan supergroup 0 2021-09-08 16:06 hdfs://localhost:9000/TestDir
156 //-rw-r--r-- 3 jiangshan supergroup 28 2021-09-08 16:01 hdfs://localhost:9000/testcreate2
157
158 // 将路径指定文件的内容输出到stdout
159 // hadoop fs -cat hdfs://localhost:9000/testcreate2
160 // 返回结果，文本文件内容
161 // Hello Hadoop 888@Chinasofti
162 }
163
164 public static void deleteFile() throws Exception {
165 FileSystem hdfs = getFileSystem();
166 Path delef = new Path("/TestDir");
167 boolean isDeleted = hdfs.delete(delef, false);
168 // 递归删除
169 // boolean isDeleted=hdfs.delete(delef, true);
170 System.out.println("Delete " + isDeleted);
171 System.out.println("------------deleteFile ok--------------------");
172
173 // 查看指定路径文件
174 // hadoop fs -ls hdfs://localhost:9000/
175 // 返回结果，如下：
176 //Found 3 items
177 //-rw-r--r-- 3 jiangshan supergroup 573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
178 //drwxr-xr-x - jiangshan supergroup 0 2021-09-08 16:06 hdfs://localhost:9000/TestDir
179 //-rw-r--r-- 3 jiangshan supergroup 28 2021-09-08 16:01 hdfs://localhost:9000/testcreate
180
181 // 查看指定路径文件
182 // hadoop fs -ls hdfs://localhost:9000/
183 // 返回结果，如下：
184 //Found 2 items
185 //-rw-r--r-- 3 jiangshan supergroup 573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
186 //-rw-r--r-- 3 jiangshan supergroup 28 2021-09-08 16:01 hdfs://localhost:9000/testcreate
187
188 }
189
190 public static void readFile() throws Exception {
191 FileSystem fileSystem = getFileSystem();
192 FSDataInputStream openStream = fileSystem.open(new Path("/testcreate"));
193 IOUtils.copyBytes(openStream, System.out, 1024, false);
194 IOUtils.closeStream(openStream);
195 System.out.println("------------readFile ok--------------------");
196
197 // 查看指定路径文件
198 // hadoop fs -ls hdfs://localhost:9000/
199 // 返回结果，如下：
200 //Found 2 items
201 //-rw-r--r-- 3 jiangshan supergroup 573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
202 //-rw-r--r-- 3 jiangshan supergroup 28 2021-09-08 16:01 hdfs://localhost:9000/testcreate
203
204 // 将路径指定文件的内容输出到stdout
205 // hadoop fs -cat hdfs://localhost:9000/testcreate
206 // 返回结果，文本文件内容： Hello Hadoop 888@Chinasofti
207 }
208
209 public static void isFileExists() throws Exception {
210 FileSystem hdfs = getFileSystem();
211 Path findf = new Path("/test1");
212 boolean isExists = hdfs.exists(findf);
213 System.out.println("Exist " + isExists);
214 System.out.println("------------isFileExists ok--------------------");
215 // 查看指定路径文件
216 // hadoop fs -ls hdfs://localhost:9000/
217 // 返回结果，如下：
218 //Found 2 items
219 //-rw-r--r-- 3 jiangshan supergroup 573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
220 //-rw-r--r-- 3 jiangshan supergroup 28 2021-09-08 16:01 hdfs://localhost:9000/testcreate
221
222 }
223
224 public static void fileLastModify() throws Exception {
225 FileSystem hdfs = getFileSystem();
226 Path fpath = new Path("/testcreate");
227 FileStatus fileStatus = hdfs.getFileStatus(fpath);
228 long modiTime = fileStatus.getModificationTime();
229 System.out.println("testcreate的修改时间是" + modiTime);
230 System.out.println("------------fileLastModify ok--------------------");
231 // 查看指定路径文件
232 // hadoop fs -ls hdfs://localhost:9000/
233 // 返回结果，如下：
234 //Found 2 items
235 //-rw-r--r-- 3 jiangshan supergroup 573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
236 //-rw-r--r-- 3 jiangshan supergroup 28 2021-09-08 16:01 hdfs://localhost:9000/testcreate
237 }
238
239 public static void fileLocation() throws Exception {
240 FileSystem hdfs = getFileSystem();
241 Path fpath = new Path("/testcreate");
242 FileStatus filestatus = hdfs.getFileStatus(fpath);
243 BlockLocation[] blkLocations = hdfs.getFileBlockLocations(filestatus,
244 0, filestatus.getLen());
245 int blockLen = blkLocations.length;
246 for (int i = 0; i < blockLen; i++) {
247 String[] hosts = blkLocations[i].getHosts();
248 System.out.println("block_" + i + "_location:" + hosts[0]);
249 }
250 System.out.println("------------fileLocation ok--------------------");
251 // 查看指定路径文件
252 // hadoop fs -ls hdfs://localhost:9000/
253 // 返回结果，如下：
254 //Found 2 items
255 //-rw-r--r-- 3 jiangshan supergroup 573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
256 //-rw-r--r-- 3 jiangshan supergroup 28 2021-09-08 16:01 hdfs://localhost:9000/testcreate
257 }
258
259 public static void nodeList() throws Exception {
260 FileSystem fs = getFileSystem();
261 DistributedFileSystem hdfs = (DistributedFileSystem) fs;
262
263 DatanodeInfo[] dataNodeStats = hdfs.getDataNodeStats();
264 for (int i = 0; i < dataNodeStats.length; i++) {
265 System.out.println("DataNode_" + i + "_Name:"
266 + dataNodeStats[i].getHostName());
267 }
268 System.out.println("------------nodeList ok--------------------");
269
270 // 查看指定路径文件
271 // hadoop fs -ls hdfs://localhost:9000/
272 // 返回结果，如下：
273 //Found 2 items
274 //-rw-r--r-- 3 jiangshan supergroup 573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
275 //-rw-r--r-- 3 jiangshan supergroup 28 2021-09-08 16:01 hdfs://localhost:9000/testcreate
276
277 }
278
279 public static void uploadWords() throws Exception {
280
281 FileSystem hdfs = getFileSystem();
282 // 本地文件地址
283 Path src = new Path("D:/data/words");
284 // 文件在HDFS上存放的地址
285 Path dst = new Path("/");
286 FileStatus files[] = hdfs.listStatus(dst);
287 for (FileStatus file : files) {
288 System.out.println(file.getPath());
289 }
290 System.out.println("------------after upload--------------------");
291 hdfs.copyFromLocalFile(src, dst);
292 files = hdfs.listStatus(dst);
293 for (FileStatus file : files) {
294 System.out.println(file.getPath());
295 }
296 System.out.println("------------uploadWords ok--------------------");
297
298 // 将路径指定文件的内容输出到stdout
299 // hadoop fs -cat hdfs://localhost:9000/words
300 // 返回结果，文本文件内容
301
302 // 查看指定路径文件
303 // hadoop fs -ls hdfs://localhost:9000/
304 // 返回结果，如下：
305 // Found 3 items
306 //-rw-r--r-- 3 jiangshan supergroup 573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
307 //-rw-r--r-- 3 jiangshan supergroup 28 2021-09-08 16:01 hdfs://localhost:9000/testcreate
308 //-rw-r--r-- 3 jiangshan supergroup 163254798 2021-09-08 16:56 hdfs://localhost:9000/words
309 }
310
311 public static void createDir2() throws Exception {
312 FileSystem hdfs = getFileSystem();
313 Path dfs1 = new Path("/wordcount1");
314 hdfs.mkdirs(dfs1);
315 Path dfs2 = new Path("/wordcount2");
316 hdfs.mkdirs(dfs2);
317 System.out.println("------------createDir ok--------------------");
318
319 // 将路径指定文件的内容输出到stdout
320 // hadoop fs -cat hdfs://localhost:9000/words
321 // 返回结果，文本文件内容
322
323 // 查看指定路径文件
324 // hadoop fs -ls hdfs://localhost:9000/
325 // 返回结果，如下：
326 // Found 5 items
327 //-rw-r--r-- 3 jiangshan supergroup 573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
328 //-rw-r--r-- 3 jiangshan supergroup 28 2021-09-08 16:01 hdfs://localhost:9000/testcreate
329 //drwxr-xr-x - jiangshan supergroup 0 2021-09-08 19:21 hdfs://localhost:9000/wordcount1
330 //drwxr-xr-x - jiangshan supergroup 0 2021-09-08 19:21 hdfs://localhost:9000/wordcount2
331 //-rw-r--r-- 3 jiangshan supergroup 163254798 2021-09-08 16:56 hdfs://localhost:9000/words
332 }
333
334 public static void deleteFile2() throws Exception {
335 FileSystem hdfs = getFileSystem();
336 Path delef1 = new Path("/wordcount1");
337 // boolean isDeleted1 = hdfs.delete(delef1, false);
338 // 递归删除
339 boolean isDeleted1 = hdfs.delete(delef1, true);
340 System.out.println("Delete " + isDeleted1);
341
342 Path delef2 = new Path("/wordcount2");
343 // boolean isDeleted2 = hdfs.delete(delef2, false);
344 // 递归删除
345 boolean isDeleted2 = hdfs.delete(delef2, true);
346 System.out.println("Delete " + isDeleted2);
347 System.out.println("------------deleteFile ok--------------------");
348
349 // 查看指定路径文件
350 // hadoop fs -ls hdfs://localhost:9000/
351 // 返回结果，如下：
352 //
353
354 }
355
356 public static void createEmptyFile() throws Exception {
357
358 byte[] buff = "".getBytes();
359 FileSystem hdfs = getFileSystem();
360 Path dfs = new Path("/wordcountout");
361 FSDataOutputStream outputStream = hdfs.create(dfs);
362 outputStream.write(buff, 0, buff.length);
363 outputStream.close();
364 System.out.println("------------createEmptyFile ok--------------------");
365
366 // 查看指定路径文件
367 // hadoop fs -ls hdfs://localhost:9000/
368 // 返回结果，如下：
369 //Found 4 items
370 //-rw-r--r-- 3 jiangshan supergroup 573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
371 //-rw-r--r-- 3 jiangshan supergroup 28 2021-09-08 16:01 hdfs://localhost:9000/testcreate
372 //-rw-r--r-- 3 jiangshan supergroup 0 2021-09-08 20:17 hdfs://localhost:9000/wordcountout
373 //-rw-r--r-- 3 jiangshan supergroup 163254798 2021-09-08 16:56 hdfs://localhost:9000/words
374
375 // 将路径指定文件的内容输出到stdout
376 // hadoop fs -cat hdfs://localhost:9000/wordcountout
377 // 返回结果，文本文件内容
378 //
379 }
380
381 public static void deleteEmptyFile() throws Exception {
382 FileSystem hdfs = getFileSystem();
383 Path delef1 = new Path("/wordcountout");
384 boolean isDeleted1 = hdfs.delete(delef1, false);
385 // 递归删除
386 // boolean isDeleted1 = hdfs.delete(delef1, true);
387 System.out.println("Delete " + isDeleted1);
388 System.out.println("------------deleteEmptyFile ok--------------------");
389
390 // 查看指定路径文件
391 // hadoop fs -ls hdfs://localhost:9000/
392 // 返回结果，如下：
393 //
394
395 }
396
397 }
398
399 // 查看指定路径文件
400 // hadoop fs -ls hdfs://localhost:9000/
401 // 返回结果，如下：
402 //Found 3 items
403 //-rw-r--r-- 3 jiangshan supergroup 573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
404 //drwxr-xr-x - jiangshan supergroup 0 2021-09-08 16:06 hdfs://localhost:9000/TestDir
405 //-rw-r--r-- 3 jiangshan supergroup 28 2021-09-08 16:01 hdfs://localhost:9000/testcreate
406
407 // 将路径指定文件的内容输出到stdout
408 // hadoop fs -cat hdfs://localhost:9000/testcreate
409 // 返回结果，文本文件内容
410 // Hello Hadoop 888@Chinasofti