HDFS学习五:HDFS2.x新特性

1.集群间数据拷贝

方法一:scp命令,这个在hadoop完全分布式运行模式一文中有介绍。

方法二:采用distcp命令实现两个Hadoop集群之间的递归数据复制

举例如下,将hello.txt文件从102集群拷贝到103,二者都是namenode所在节点主机名

bin/hadoop distcp hdfs://hadoop102:9000/user/hello.txt hdfs://hadoop103:9000/user/hello.txt 

2.小文件归档

2.1HDFS存储小文件的弊端

每个文件按块存储,每个块的元数据存储在NameNode的内存之中,因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存,但注意,存储小文件所需要的磁盘容量和数据块的大小无关。例如:一个1MB的文件设置为128MB的块存储,实际使用的是1MB的磁盘空间,而不是128MB.

2.2解决存储小文件的办法之一

HDFS存档文件或HAR文件,是一个更高效的文件存档工具,它将文件存入HDFS块,在减少NameNode内存使用的同时,允许对文件进行透明的访问。具体来说,HDFS存档文件对内还是一个一个独立的文件,对NameNode而言却是一个整体,减少了NameNode的内存。

案例实操

1)需要启动YARN进程

start-yarn.sh

2)归档文件

将/user/input目录下面的所有文件归档成一个叫input.har的归档文件,并把归档后文件存储到/user/output路径下

bin/hadoop archive -archiveName input.har -p /user/input /user/output

3)查看归档

hadoop fs -lsr /user/output/input.har hadoop fs -lsr har:///user/output/input.har

4)解归档文件

hadoop fs -cp har:///user/output/input.har/* /user/

3.回收站

        开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 

HDFS学习五:HDFS2.x新特性

启用回收站:

core-site.xml文件,配置垃圾回收时间为1分钟。

<property>
<name>fs.trash.interval</name>
<value>1</value>
</property>

查看回收站:

回收站在集群中的路径:/user/root/.Trash/..

修改访问垃圾回收站用户名称

进入垃圾回收站用户名称,默认是dr.who,修改为root用户

core-site.xml文件

<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>

通过程序删除的文件不会经过回收站,需要调用moveToTrash才进入回收站

Trash trash = New Trash(conf); 
trash.moveToTrash(path);

恢复回收站数据

hadoop fs -mv /user/root/.Trash/Current/user/root/input /user/root/input

清空回收站

hadoop fs -expunge

4.快照管理

HDFS学习五:HDFS2.x新特性

 

申明:本文内容源自本人听阿里云官网的大数据社区相关网课

上一篇:常用的HDFS操作


下一篇:伪分布式搭建