【Spark深入学习-11】Spark基本概念和运行模式

----本节内容-------

1.大数据基础

1.1大数据平台基本框架

1.2学习大数据的基础

1.3学习Spark的Hadoop基础

2.Hadoop生态基本介绍

2.1Hadoop生态组件介绍

2.2Hadoop计算框架介绍

3.Spark概述

3.1 Spark出现的技术背景

3.2 Spark核心概念介绍

4.Spark运行模式

4.1.Spark程序组成

4.2.Spark运行模式

5.参考资料

---------------------

【Spark深入学习-11】Spark基本概念和运行模式

1.大数据基础

1.1 大数据平台基本框架

从全局了解一下大数据技术的基本框架,在宏观上有个认识,不至于盲人摸象。董先生贴出来的这个图,可以说是非常通用且普遍的一张图, 不管你是哪个行业,框架用这个套,准没错。通用就是大而全的东西,不会考虑细节了。在实际生产中,每一个细节都不是省油的灯。当然 全局的整体把握,对spark理解非常重要,它在整个体系中扮演什么角色,这个很基础 。

【Spark深入学习-11】Spark基本概念和运行模式

整体架构分为6个层面

1) 数据收集

数据采集,是汇聚的一个过程,如淘宝,商家,用户,用户行为,买其他公司数据,数据集市等,要收集数据过来,使用的技术组件有Flume、kafka、Ftp、Sqoop、DataX等等。一些自己走的坑,主要有:a.稳定和安全,生产中首要是确保生产,不能把对端系统给搞瘫了,很多时候,对端系统已经弱不禁风了,达到了各种瓶颈,如网络带宽,内存和CPU硬件限制等,汇聚数据稍加马力,就要出事(曾经sqoop抽oralce生产库,不知道对端oralce那么脆弱,上来就猛一抽,完蛋);b.网络复杂,跨网段的数据汇聚,很头疼,做过几次汇聚,网络有N多种,*网、视频专网、政务网、互联网,经过各种跳转机和网闸等等,各种网络限制,很可能别人鼓吹的神器,因为网络问题,都是浮云,c.数据质量垃圾,不敢恭维,数据能拿过来了,但是数据质量真的都不敢恭维,ETL工作做起来,杀人的心都有,d.跨部门沟通和协调问题,人的问题永远比技术问题还要难解决,是你主动过去取,还是让人家送过来,是你去协调别人,还是别人来找你要做数据汇聚,这是一个问题;沟通是一门艺术,coding则是一门技术。

2)存储数据

传统关系型数据库,很难存海量数据,采用分布式的架构,其实分布式存储数据并不是传统数据库不能解决的问题,oralce也能做到集群,mysql也没问题,关键的关键还是如何将存起来的数据用起来,除非你真的只想做个网盘。

3)资源管理

一般公司都不仅仅是做网盘,还有挖掘,分析,产生价值,管理cpu,内存等资源,资源管理系统来管理,上百台,千台,分布式集群的资源管理很讲究。

4)计算层

分布式程序作分析和挖掘, 分三类:批处理,交互式分析,流处理。

批处理:10T的数据如何处理,分布式的程序进行处理,讲究高吞吐率,对时间要求不严格,分钟或者消失级别

交互式分析:很多数据,通过语言表达查询意图,马上反馈结果,支持sql,速度足够快, 2~3秒,交互的,时间长就不是交互了,秒级;

流式处理:对时间要求很高,毫秒级处理完数据,不想批处理那样,数据来了就处理

spark可以解决这三类问题。

5)数据分析层

偏向平台,比较通用,银行,电商,都可以用这些引擎来分析问题,改成和应用相关

6)数据可视化

很重要,很多创业公司在做这个,并且根据行业细分,做的都非常不错。

spark在第四层,不做收集,资源管理,数据存储,可视化,仅仅是一个计算框架,可以解决很多实际问题,不是大数据的全部,是数据分析技术

问题1:为什么不采用oralce技术来实现大数据?

oralce不能解决所有的问题,l虽然oralce有load加载数据,oralce也能做做存储,不需要做资源管理,一个节点而已,能做sql做分析,但是数据小可以,没问题;数据大了,收集,存储,都要拿出来做独立模块,各种模块和场景都很复杂,oralce打包一起做不了。

问题2:如何实现大数据平台?

可以自己玩,在生产中可以使用ambari或者CM这样的部署工具来搭建大数据平台,自己搭建和运维;也可以用别人搞好的服务,,如用阿里云,付钱,每个环节都实现了, 也可以google、亚马逊,数据放在他们那里,不安全 。在国内,属于劳动力密集型的地方,很多企业都愿意自己搭建运维,各种坑自己一个个的趟过去;而在国外,如欧洲,人力成本贵的要命,宁愿花钱买别人的服务,而且他们相信专业的人干专业的事情。

1.2 基本技能素养

大数据之所以有点学习的门槛,其实不是因为它有多难,而是要有一颗耐的主寂寞的心,有些人看到这幅图可能就要打退堂鼓了。这些技术栈不见得非要精通,至少得用到知道怎么百度和google,能迅速上手,基于我自己对大数据技术的理解做如下阐述,

【Spark深入学习-11】Spark基本概念和运行模式

linux基础:linux得入门啊,最基本的命令得会,这个没有入门的,推荐一下老男孩的linux运维系列视频课程

编程语言:java,scala,python

开发工具: (1) intellij开发工具,scala程序推荐该工具,eclipse对scala支持的比较差,高亮,自动提示等都比较若,(2)maven项目构建工具,好好学习一下,如何 打包测试,发布;(3)代码管理工具git,使用git来下载和管理代码

hadoop生态组件:hdfs、yarn、pig、hive和zookeeper等

不求样样精通,你不是神,根据职业角色划分,有所侧重。角色划分我的有限理解,通常有做Hadop平台运维、大数据ETL开发、数据建模分析、大数据可视化等等,每一个工种角色都不一样,掌握技能侧重点也不一样。

1.3 Hadoop生态系统基础

Hadoop生态组件是Spark的学习基础,Spark建立在HDFS之上,是Mapreduce的改良,使用Yarn做资源调度,通过Zookeeper做主节点的HA,所以学习Spark至少也有点Hadoop的基础。另外对于Spark有几个言论误解,主要有:(1)spark会取代hadoop,其实不然,他们不是不是一个量级的东西,是一个生态系统,Spark就是一个小小的组件,只是逐步替代Mapreduce编程;(2)Spark诸如强Hadoop百倍,也不全然,只能说个别场景如此,谣言止于智者。

【Spark深入学习-11】Spark基本概念和运行模式

2.Hadoop生态基本介绍

2.1Hadoop生态组件介绍

【Spark深入学习-11】Spark基本概念和运行模式

2.Hadoop生态基本介绍

2.1Hadoop生态组件介绍

1)HDFS和Hbase

· HDFS

分布式文件系统,它是一个高度容错的系统,能检测和应对硬件故障,用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型,通过流式数据访问,提供高吞吐量应用程序数据访问功能,适合带有大型数据集的应用程序。

必须要有HDFS的基础,明白HDFS的基本架构,基本的文件管理,如block、文件、目录等,熟悉基本的HDFS shell操作。1G数据,默认是几个block,5个节点,这些数据会存在哪几个节点.来自一篇论文,有13年时间了,GFS,很经典,hdfs是gfs的克隆版,google没有开源、容错性好,互联网公司抠门,常常是购买x86的机器,经常挂掉,所以要容错好;节点,机器,都是一台服务器,【同通常配置是24个cpu,128G内存,磁盘12*3T】,2万左右的RMB,挂掉    数据不会丢,一个文件切分成多个文件,存放在不同的节点上,一个文件多份,为并行化提供存储的基础,切成几块,并行都就是多少,【16个并行读,16个block】

基本原理:将文件且纷成等大的数据块block,默认是128M,存储在多台机器上;将数据切分、容错、负载均衡等功能透明化;可将HDFS看成是一个容量巨大的、具有高容错性的磁盘。

应用场景:海量数据的可靠性存储、数据归档

基本架构:主从架构,主节点会做HA,数据存放在datanode。

【Spark深入学习-11】Spark基本概念和运行模式

Hbase

HBase是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。和传统关系数据库不同,HBase采用了BigTable的数据模型:增强的稀疏排序映射表(Key/Value),其中,键由行关键字、列关键字和时间戳构成。HBase提供了对大规模数据的随机、实时读写访问,同时,HBase中保存的数据可以使用MapReduce来处理,它将数据存储和并行计算完美地结合在一起。数据模型:Schema-->Table-->Column Family-->Column-->RowKey-->TimeStamp-->Value

2)YARN

群的资管管理和调度,在yarn上跑各种程序,spark不一定泡在yarn上,也可以mesos,甚至裸集群上,有很多分布式特点,扩展,容错,并行

是什么? Hadoop2.0新增的资源管理系统,负责集群的资源管理和调度,使得多个计算框架可以运行在一个集群上。

啥特点? 良好的扩展性、高可用性,对多种类型的应用程序进行统一管理和调度,自带多种用户调度器,适合共享集群环境。

要熟悉YARN的基本架构,各个角色的功能和交互流程,资源管理的基本方法等。

【Spark深入学习-11】Spark基本概念和运行模式

执行流程:

a.nodemanager管理资源,将资源,有cpu,内存等汇报给resourceManager,统一管理

b.客户client要执行任务

client查找rm->rm找nodemanager->rm找到nodemanager资源后,将资源分给client->client就直接去找nodemanager->nodemanager执行任务

3)MapReduce和Spark

Mapreduce

源自goole开源的mapreduce论文,发表于2004年12月,是google Mapreduce的克隆版MapReduce是一种计算模型,用以进行大数据量的计算。其中Map对数据集上的独立元素进行指定的操作,生成键-值对形式中间结果。Reduce则对中间结果中相同“键”的所有“值”进行规约,以得到最终结果。要掌握MapReeduce的基本编程模型,WordCount的执行流程。Spark经常和mr对比,经典的最好是了解,不要一无所知,只能说你太虚伪了。

特点:良好的扩展性、高容错性、适合PB级以上海量数据的离线处理;分布式错误是一个正常现象,常态。转为2个阶段,map和reduce,就是计算机里面的汇编语言,难用

【Spark深入学习-11】Spark基本概念和运行模式

Spark:UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点,支持整个目录读取支持通配符读取支持压缩文件读取,基于gz的压缩不带分片参数,会将每个block创建一个分片,每个分片上运行一个task支持读取目录中的小文件, 支持整个目录读取支持通配符读取支持压缩文件读取,基于gz的压缩不带分片参数,会将每个block创建一个分片,每个分片上运行一个task支持读取目录中的小文件

4)Hive和Pig

Hive:由facebook开源,最初用于解决海量结构化的日志数据统计问题。Hive定义了一种类似SQL的查询语言(HQL),将SQL转化为MapReduce任务在Hadoop上执行。

通常用于离线分析。

Pig:由yahoo!开源,设计动机是提供一种基于MapReduce的ad-hoc(计算在query时发生)数据分析工具定义了一种数据流语言—Pig Latin,将脚本转换为MapReduce任务在Hadoop上执行。

通常用于进行离线分析。

5)Oozie和Zookeeper

Zookeeper:源自Google的Chubby论文,发表于2006年11月,Zookeeper是Chubby克隆版解决分布式环境下的数据管理问题:统一命名,状态同步,集群管理,配置同步等。

6)Flume和sqoop

Sqoop是SQL-to-Hadoop的缩写,主要用于传统数据库和Hadoop之前传输数据。数据的导入和导出本质上是Mapreduce程序,充分利用了MR的并行化和容错性。

Flume:Cloudera开源的日志收集系统,具有分布式、高可靠、高容错、易于定制和扩展的特点。

它将数据从产生、传输、处理并最终写入目标的路径的过程抽象为数据流,在具体的数据流中,数据源支持在Flume中定制数据发送方,从而支持收集各种不同协议数据。同时,Flume数据流提供对日志数据进行简单处理的能力,如过滤、格式转换等。此外,Flume还具有能够将日志写往各种数据目标(可定制)的能力。总的来说,Flume是一个可扩展、适合复杂环境的海量日志收集系统。

7)Ambari

由hortworks开源,是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。1000个机器,如何部署,拷贝数据都考死人,自动化安装工具ambari,点击鼠标自动安装,修改配置,启动服务。

目前来说,只有可视化功能,hadoop生态系统没有提供,

2.2 Hadoop计算框架介绍

通常来说,计算引擎的分类,

1)批处理:对时间没有严格要求,离线分析,不关系时间,关注吞吐率

2)交互式:支持sql,对数据进行快速分析,人机交互,时间要求高

3)流式处理:流水一样流入系统,实时分析,来一条处理一条。对每一条数据时间要求高,吞吐率要求不高

4) 迭代式与DAG计算:机器学习算法,离线分析

当然有些公司也有自己的划分方法,比如hortworks(已经上市了的大数据公司),划分方式:

用时间来划分0~5秒实时分析,和其他公司划分就不一样,比如在线查询有些公司要求毫秒,作为参考而已

【Spark深入学习-11】Spark基本概念和运行模式

hortworks将计算框架也划分了几类

简单批处理:MapReduce和hive

DAG与迭代式: tez逐步替代hive,Spark替代shark,简单批处理和DAG迭代式都是离线分析

交互式框架:Impala,Presto

流/实时计算:Stoam,Samz,Spark Streaming

【Spark深入学习-11】Spark基本概念和运行模式

涵盖三类应用场景,如果spark能解决的就用spark把,Spark架构如下

【Spark深入学习-11】Spark基本概念和运行模式

1)计算框架

分布式,基于内存,弹性

2)数据存储

在hadoop生态系统,如hdfs,hbase,分布式存储引擎

3)资源管理

由yarn管理,或者mesos等,有一个内核,spark core,在这之上,构建了很多计算引擎,方便用户编写

4)spark sql

写sql,将sql转为spark程序

5)spark streaming

6)graphx:图计算

7)MLLib:机器学习,通用的机器学习算法,聚类,分类,避免重复造*

8)Spark R:用r语言写spark程序

Spark不是一门孤立的技术,社区很活跃,支持linux和windows;微软怕被淘汰,给大数据社区贡献了一些windows运行的patch,但依然很少有人用,spark不断在发展过程中,版本的升级都是内核变动,api层很少变动,一般不会该使用和优化为主,

【Spark深入学习-11】Spark基本概念和运行模式

3.Spark概述

3.1 Spark出现的技术背景

1)Mapreduce的局限性

mapreduce框架的局限性主要表现在

· 仅仅支持map和reduce两种操作

· 处理效率低(中间结果写磁盘,多个mr之间通过hdfs交换数据;任务调度和启动开销大;无法充分利用内存,不管什么操作map和reduce都要排序),为什么写磁盘,因为当时磁盘便宜,内存贵,现在内存很便宜。

· 不适合做复杂的计算,如迭代计算,如机器学习图计算、交互处理和流计算。

· 编程不灵活,基本就是分布式编程界的汇编语言。

2)各种计算框架多样化

spark之前,很多,各种框架部署和管理都比较乱,spark可以同时解决这三种场景,学习一类解决三类问题,写程序和管理都很简单。 现有的各种计算框架各自为战,批处理mapreduce、Hive、Tez,流式计算storm,交互式计算Impala,Spark同时处理批处理、流计算、交互式计算等。

3)Spark特点

·  高效:快10~100倍,取决于逻辑和具体的计算,内存计算引擎,提供驾驭内存的机制,灵活利用内存,DAG的计算杨引擎,减少开销,使用多线程,减少启动开销,shuffle减少不必要的开销和磁盘IO。

· 易用,非常丰富的API,支持JAVA,scala,pyhon,R四种语言,spark之前,scala很小众

spark带动scala的销量,scala代码少2~5倍,更短,出错更少,

·与hadoop集成的很好,和yarn很好的集成

给人更多的选择,你不喜欢可以使用mr,我比mr更快,你自己看着办,如下面的sql语句,   mapreduce程序启动就会有4个mr,并且读写hdfs非常频繁,效率很低;而使用Spark,DAG模式大大节省磁盘IO。

在一个统一的框架下,进行批处理、流计算、交互式计算

【Spark深入学习-11】Spark基本概念和运行模式

3.2 Spark核心概念介绍

1.RDD弹性分布式数据集

· 数据集的抽象,以前学过很多数据集,array,list,map数据集等,抽象成不同的数据结构,

分布式:数据被分解成很多块放到不同节点

弹性:相对于存储介质而言,可以放在磁盘,可以放在内存,这就是弹性的意思

·  分布在集群上,只读

一个RDD被分解成很多块partition,这些partition分布在不同的机器上。多个partion组成,hdfs的block有什么关系,2套术语,都叫块不可以,2个团队2个社区的人,命名方式不同了。

·   可以在内存或者磁盘上

·   可以并行的构造,一个或者2个可以产生新的

·  失效后,自动重构

【Spark深入学习-11】Spark基本概念和运行模式

2.基本操作Transfoation和Action

rdd是数据,有数据,就有计算操作,基本操作分成2类(为什么分成2类),

1)transformation:一类算子的简称,完成转换功能,函数和算子一个意思,看成一个大的数组,里面有元素,被切分放到各个节点上。

2)action:把rdd变换成一个或者一组值,这些是单机的,前面transformation都是分布式的值,

【Spark深入学习-11】Spark基本概念和运行模式

3)Spark提供了大量的函数

transformation:参数也是函数,输入T类型rdd,输出U类型也是RDD,

aciton:输入rdd,输出不是rdd了,可能是基本类型或者数组等,都是单机的类型

【Spark深入学习-11】Spark基本概念和运行模式

4)惰性执行

transformation只会记录RDD的转化关系,并不会触发计算

action是触发程序执行(分布式)的算子

【Spark深入学习-11】Spark基本概念和运行模式

3.缓存cache和persist

spark非常好的能力,能控制内存的使用量,就是通过cache和persist实现,称为控制语句

可以让rdd cache到内存或磁盘上。

问题: cache和persist 区别(面试会经常被问到) ,回答以下知识点

(1)cache和persist都是用于将一个RDD进行缓存的,这样在之后使用的过程中就不需要重新计算了,可以大大节省程序运行时间,

(2) cache只有一个默认的缓存级别MEMORY_ONLY ,cache调用了persist,而persist可以根据情况设置其它的缓存级别。

(3)executor执行的时候,默认60%做cache,40%做task操作,persist最根本的函数,最底层的函数

【Spark深入学习-11】Spark基本概念和运行模式

storagelever每个等级有5个参数

·是不是用磁盘

·是不是不内存

·是不是用tacyon

·是不是反序列化

·缓存保存多少份

序列化器,使用序列化节省内存但是消耗cpu,拿出来的时候要进行反序列化,缺省的,用自带的,但是性能很差,根据自己的需求是否进行序列化,不要用自带的序列化器

4.Spark运行模式

4.1.Spark程序组成

1)程序执行

· spark-shell,读取文件->RDD转换-> RDD触发执行->保存结果

【Spark深入学习-11】Spark基本概念和运行模式

· spark-submit,很多参数,注意下参数:--master,指定程序运行的模式,可以本地,yarn,别的集群上

【Spark深入学习-11】Spark基本概念和运行模式

2)Spark程序架构

【Spark深入学习-11】Spark基本概念和运行模式

2个组件组成,application = driver(1个)+ executor(多个)

· driver:main函数,2g内存1个cpu,运行指定将相应的jar包和文件传给work node

· application:driver+executor,spark应用程序,2个应用程序是没有任何关联,如果共享数据只能hdfs或者tacyon. executor运行是指定,可以同时跑几个task,一个application转为多个task(driver转化),task扔给exe执行,

4.2.Spark程运行模式

1)本地模式

不一定非要跑在hadoop集群,可以在本地,起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地,一般都是为了方便调试,本地模式分三类

·  local:只启动一个executor

·  local[k]:启动k个executor

·  local[*]:启动跟cpu数目相同的 executor

2)独立模式

搭建一个集群跑,分布式环境中执行spark程序,资源管理和任务监控是Spark自己控制。

【Spark深入学习-11】Spark基本概念和运行模式

3)集群模式

【Spark深入学习-11】Spark基本概念和运行模式

driver运行在本地,没有容错,但是调试方便

【Spark深入学习-11】Spark基本概念和运行模式

driver运行在集群里面,yarn从slave里面选择一个跑driver,有个好处就是当driver挂掉了,resourceManager可以重新启动一个driver,实现容错,生产环境使用的模式。

5.参考资料

1.http://blog.csdn.net/woshiwanxin102213/article/details/19688393 Hadoop生态系统介绍

2.董西成ppt

上一篇:Scikit Learn: 在python中机器学习


下一篇:Spark入门实战系列--3.Spark编程模型(上)--编程模型及SparkShell实战