大数据Hadoop基础入门到精通

1.hadoop前世今生:

  1) 搜索引擎:网络爬虫+索引服务器(生成索引+检索)

  2) Doung Cutting

  3)  Nutch

    a.分布式存储

    b.分布式计算

  4)GFS论文 doung cutting写了hdfs

2.hadoop概述

  hadoop common:提供网络通信

  hadoop hdfs

  hadoop mapreduce

  hadoop yarn

Hadoop 0.x 1.x

大数据Hadoop基础入门到精通

Hadoop 2.x之后的版本

 Hadoop 概述

大数据Hadoop基础入门到精通

hdfs引入

大数据Hadoop基础入门到精通

NameNode是主节点存储元数据,以及每个文件所在的块列表和块所在的DataNode

DataNode存储块数据和校验和

SecondaryNamenode 监控后台数据,获取快照

1)四大模块

2)hdfs(hadoop distributed file system):分布式文件系统

  a.文件系统:文件管理+block块管理

  单机文件系统

  window:FAT16、FAT32、NTFS

  linux:ext 2/3/4、 VFS

  b.分布式文件系统

  多个服务器文件系统

  c.三大组件

  NameNode

  •   元数据:文件名、目录名、属性
  •   文件列表与block列表之间的关系
  •   block与datanode列表映射关系

  Datanode

  block块数据、校验和编码

  SecondaryNameNode

  分担namenode压力,合并编辑日志edits和镜像文件fsimage,合并后将最终的文件返回namenode进行处理

  

 Hadoop概述

大数据Hadoop基础入门到精通

YARN引入案例

上一篇:我要进大厂之大数据Hadoop HDFS知识点(1)


下一篇:大数据Hadoop——初识Hadoop