1.大数据概述

1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系,以图呈现并加以文字描述。

(1)HDFS——分布式文件系统  

Hadoop分布式文件系统HDFS是针对谷歌分布式文件系统(Google File System,GFS)的开源实现,它是Hadoop两大核心组成部分之一,提供了在廉价服务器集群中进行大规模分布式文件存储的能力。HDFS有着高容错性的特点,并且设计用来部署在低廉的硬件上。

 

(2)MapReduce——分布式计算框架

MapReduce 是一种分布式并行编程模型,用于大规模数据集(大于1TB)的并行运算,它将复杂的、运行于大规模集群上的并行计算过程高度抽象到两个函数:Map和Reduce。

MapReduce极大方便了分布式编程工作,编程人员在不会分布式并行编程的情况下,也可以很容易将自己的程序运行在分布式系统上,完成海量数据集的计算。

 

(3)YARN——资源管理器

YARN 的目标就是实现“一个集群多个框架”,即在一个集群上部署一个统一的资源调度管理框架YARN,在YARN之上可以部署其他各种计算框架,比如MapReduce、Tez、Storm、Giraph、Spark、OpenMPI等,由YARN为这些计算框架提供统一的资源调度管理服务,并且能够根据各种计算框架的负载需求,调整各自占用的资源,实现集群资源共享和资源弹性收缩。

 

(4)HBase——分布式列存数据库

HBase 是一个高可靠、高性能、面向列、可伸缩的分布式数据库,主要用来存储非结构化和半结构化的松散数据。HBase可以支持超大规模数据存储,它可以通过水平扩展的方式,利用廉价计算机集群处理由超过10亿行元素和数百万列元素组成的数据表

 

(5)Hive——仓库数据软件

Hive是一个基于Hadoop的数据仓库工具,可以用于对存储在Hadoop文件中的数据集进行数据整理、特殊查询和分析处理。

 

(6)zookeeper——分布式协作服务

解决分布式环境下的数据管理问题:统一命名,状态同步,集群管理,配置同步等。

 

(7)flume——日志收集工具

Flume 是 一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输系统。Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接收方的能力。

 1.大数据概述

2.对比Hadoop与Spark的优缺点。

Hadoop优点

1、高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。

2、高扩展性:能在廉价机器组成的集群间分配任务数据,可方便的扩展数以干计的节点。

3、高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。

4、容错性:能够自动将失败的任务重新分配。

 Hadoop缺点

1、不适合低延时数据访问

2、无法高效的对大量小文件进行存储。

3、不支持并发写入、文件随机修改。

Spark优点

1、快:与 Hadoop 的 MapReduce 相比,Spark 基于内存的运算要快 100 倍以上,基于硬盘的运算也要快 10 倍以上。

2、易用:Spark 支持 Java、Python 和 Scala 和 R 的 API,还支持超过 80 种高级算法,使用户可以快速构建不同的应用。

3、兼容性:Spark可以非常方便地与其他的开源产品进行融合。

Spark缺点

1、不稳定,集群偶尔会挂掉。因为是基于内存运算的,因为确实与磁盘的I/O,如果数据量超出内存会出现挂掉的现象。

2、数据的partition,会导致集群中的各台机器上计算任务分配不均匀。

3、自身任务调度功能不够好。

 

3.如何实现Hadoop与Spark的统一部署?

由于Hadoop生态系统中的一些组件所实现的功能,目前还是无法由Spark取代的,比如,Storm。现有的Hadoop组件开发的应用,完全转移到Spark上需要一定的成本不同的计算框架统一运行在YARN中,可以带来如下好处:

1、计算资源按需伸缩。

2、不用负载应用混搭,集群利用率高·共享底层存储,避免数据跨集群迁移。

上一篇:1.大数据概述


下一篇:set: Illegal option -解决方案