Spark框架介绍

一、Spark是什么

一、定义

Apache Spark是用于大规模数据处理的统一分析引擎

二、Spark更快的原因

  • 数据结构(编程模型):Spark框架核心

    • RDD:弹性分布式数据集,认为是列表List

    • Spark 框架将要处理的数据封装到集合RDD中,调用RDD中函数处理数据

    • RDD 数据可以放到内存中,内存不足可以放到磁盘中

  • Task任务运行方式:以线程Thread方式运行

    • MapReduce中Task是以进程Process方式运行,当时Spark Task以线程Thread方式运行。

    • 线程Thread运行在进程Process中,启动和销毁是很快的(相对于进程来说)。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tF6JyHBy-1644111477332)(C:\Users\EuropeanSheik\AppData\Roaming\Typora\typora-user-images\image-20220125142329172.png)]

二、Spark和Hadoop的对比

一、二者各方面比较

Hadoop Spark
类型 基础平台,包含计算、存储、调度 分布式计算工具
场景 大规模数据集上的批处理 迭代计算,交互式计算,流计算
价格 对机器要求低,便宜 对内存有要求,相对较贵
编程范式 Map+Reduce,API较为底层,算法适应性差 RDD组成DAG有向无环图,API较为顶层,方便使用
数据存储结构 MapReduce中间计算结果在HDFS磁盘上,延迟大 RDD中间运算结果在内存中,延迟小
运行方式 Task以进程方式维护,任务启动慢 Task以线程方式维护,任务启动快

二、Spark不能完全替代Hadoop的原因

  • Spark主要用于替代Hadoop中的MapReduce计算模型。存储依然可以使用HDFS,但是中间结果可以存放在内存中;
  • Spark已经很好地融入了Hadoop生态圈,并成为其中的重要一员,它可以借助于YARN实现资源调度管理,借助于HDFS实现分布式存储。

三、Hadoop基于进程计算和Spark基于线程计算的优缺点

Hadoop中的MR中每个map/reduce task都是一个java进程方式运行,好处在于进程之间是互相独立的,每个task独享进程资源,没有互相干扰,监控方便,但是问题在于task之间不方便共享数据,执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加载到每个map task中,造成重复加载和浪费内存。而基于线程的方式计算是为了数据共享和提高执行效率,Spark采用了线程的最小的执行单位,但缺点是线程之间会有资源竞争。

四、Spark处理数据与MapReduce处理数据的不同点

  1. Spark处理数据时,可以将中间处理结果数据存储到内存中
  2. Spark Job调度以DAG方式,并且每个任务Task执行以线程(Thread)方式,并不是像MapReduce以进程(Process)方式执行

三、Spark的特点

一、速度快

由于Apache Spark支持内存计算,并且通过DAG(有向无环图)执行引擎支持无环数据流,所以官方宣称其在内存中的运算速度要比Hadoop的MapReduce快100倍,在硬盘中要快10倍。

二、易于使用

Spark 的版本已经更新到 Spark 3.1.2(截止日期2021.06.01),支持了包括 Java、Scala、Python 、R和SQL语言在内的多种语言。为了兼容Spark2.x企业级应用场景,Spark仍然持续更新Spark2版本。

三、通用性强

在 Spark 的基础上,Spark 还提供了包括Spark SQL、Spark Streaming、MLib 及GraphX在内的多个工具库,我们可以在一个应用中无缝地使用这些工具库。

四、运行方式

Spark 支持多种运行方式,包括在 Hadoop 和 Mesos 上,也支持 Standalone的独立运行模式,同时也可以运行在云Kubernetes(Spark 2.3开始支持)上。

四、Spark框架的模块

一、Spark Core

  • 实现了 Spark 的基本功能,包含RDD、任务调度、内存管理、错误恢复、与存储系统交互等模块。
  • 数据结构:RDD

二、Spark SQL

  • Spark 用来操作结构化数据的程序包。通过 Spark SQL,我们可以使用 SQL操作数据。
  • 数据结构:Dataset/DataFrame = RDD + Schema

三、Spark Streaming

  • Spark 提供的对实时数据进行流式计算的组件。提供了用来操作数据流的 API。
  • 数据结构:DStream = Seq[RDD],DStream离散化流

四、Spark GraphX

  • Spark中用于图计算的API,性能良好,拥有丰富的功能和运算符,能在海量数据上自如地运行复杂的图算法。
  • 数据结构:RDD或者DataFrame

五、Spark MLlib

  • 提供常见的机器学习(ML)功能的程序库。包括分类、回归、聚类、协同过滤等,还提供了模型评估、数据导入等额外的支持功能。
  • 数据结构:RDD或者DataFrame。
上一篇:Python Tomcat Script(多实例)


下一篇:大数据:Spark实战经验总结(python版)