作业——11 分布式并行计算MapReduce

作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319


1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。

  HDFS

    功能

      分布式文件系统,用来存储海量数据。

    工作原理

    1、HDFS集群分为两大角色:NameNode、DataNode  (Secondary Namenode)

    2、NameNode负责管理整个文件系统的元数据

    3、 DataNode 负责管理用户的文件数据块

    4、 文件会按照固定的大小(blocksize)切成若干块后分布式存储在若干台datanode上

    5、 每一个文件块可以有多个副本,并存放在不同的datanode上

    6、Datanode会定期向Namenode汇报自身所保存的文件block信息,而namenode则会负责保持文件的副本数量

    7、HDFS的内部工作机制对客户端保持透明,客户端请求访问HDFS都是通过向namenode申请来进行

    工作过程

      写操作    

      1、根namenode通信请求上传文件,namenode检查目标文件是否已存在,父目录是否存在

      2、namenode返回是否可以上传

      3、client请求第一个 block该传输到哪些datanode服务器上

      4、namenode返回3个datanode服务器ABC

      5、client请求3台dn中的一台A上传数据(本质上是一个RPC调用,建立pipeline),A收到请求会继续调用B,然后B调用C,将真个pipeline建立完成,逐级返回客户端

      6、client开始往A上传第一个block(先从磁盘读取数据放到一个本地内存缓存),以packet为单位,A收到一个packet就会传给B,B传给C;A每传一个packet会放入一个应答队列等待应答

      7、当一个block传输完成之后,client再次请求namenode上传第二个block的服务器。

      读操作

      1、跟namenode通信查询元数据,找到文件块所在的datanode服务器

      2、挑选一台datanode(就近原则,然后随机)服务器,请求建立socket流

      3、datanode开始发送数据(从磁盘里面读取数据放入流,以packet为单位来做校验)

      4、客户端以packet为单位接收,现在本地缓存,然后写入目标文件

  MapReduce

    功能

      并行处理框架,实现任务分解和调度。

    工作原理

     1、通过Job的submit()方法创建一个JobSummiter实例,并且调用其submitJobInternal()方法。

     2、作业提交给ResourceManager,从ResourceMananger处得到一个ApplicationID

    3、JobClien检查Job的输出说明,计算输入分片,并将Job资源(包括运行的Jar包、配置和分片信息)复制到HDFS

     4、通过ResourceManager上的submitApplications进行作业提交 

     5、ResourceManager收到submitApplication()消息后,便将请求传递给调度器(scheduler)。调度器为其分配一个容器(Container),然后资源管理器在节点管理器(NodeManger)的管理下在Container中启动应用程序的master

    6、初始化Job:通过创建多个簿记录对象以保持对作业进度的跟踪,因为它将接受来自任务的进度和完成报告

     7、接受HDFS在Client端计算的输入分片信息

    8、连接ResourceManager,向ResourceManager进行资源申请

    9、Application master 通过与节点管理器(NodeManager)进行通信启动Container,该任务有主类为YarnChiled的Java程序执行。

    10、在第9步之前,需要将任务需要的资源本地化,包括运行的Jar包、配置和分片信息和HDFS的文件

    11、最后运行map任务或reduce任务。

    工作过程

    MapReduce的工作过程分为两个步骤:map和reduce。每个阶段的输入输出都是key-value的形式,key和value的类型可以自行指定。map阶段对切分好的数据进行并行处理,处理结果传输给reduce,由reduce函数完成最后的汇总。

2.HDFS上运行MapReduce

  1)准备文本文件,放在本地/home/hadoop/wc

作业——11 分布式并行计算MapReduce

  2)编写map函数和reduce函数,在本地运行测试通过

作业——11 分布式并行计算MapReduce

作业——11 分布式并行计算MapReduce

  3)启动Hadoop:HDFS, JobTracker, TaskTracker

作业——11 分布式并行计算MapReduce

  4)把文本文件上传到hdfs文件系统上 user/hadoop/input 

作业——11 分布式并行计算MapReduce

  5)streaming的jar文件的路径写入环境变量,让环境变量生效

作业——11 分布式并行计算MapReduce

  6)建立一个shell脚本文件:streaming接口运行的脚本,名称为run.sh

作业——11 分布式并行计算MapReduce

  7)source run.sh来执行mapreduce

作业——11 分布式并行计算MapReduce

  8)查看运行结果

作业——11 分布式并行计算MapReduce

 

上一篇:Python基本数据类型(列表)


下一篇:java – 错误org.apache.velocity:ResourceManager:无法在任何资源加载器中找到资源’xxx.html.vm’