Hadoop3新特性

1.添加Classpath isolation,防止不同版本的jar包出现冲突。

2.支持Shell重写。

3.支持HDFS中的擦除编码【Erasure Encoding】,默认的EC策略可以节省50%的存储空间,同时还可以承受更多的存储故障。

4.DataNode内部添加了负载均衡【Disk Balancer】,进行磁盘之间的负载均衡。

5.MapReduce任务级本地优化。

6.MapReduce内存参数自动推断。mapreduce.{map,reduce}.memory.mb和mapreduce.{map,reduce}.java.opts。

7.基于cgroup的内存隔离和IO Disk隔离。

8.支持更改分配容器的资源Container resizing。

 

上一篇:hadoop3自学入门笔记(1)——虚拟机安装和网络配置


下一篇:20211205今日旧闻