1、Spark简介

spark是什么?

spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎

spark和hadoop

spark出现的时间相对较晚,主要功能主要用于数据计算,可以认为是hadoop的升级版本

一次性数据计算

框架在处理数据的时候,会从存储设备种读取数据,进行逻辑操作,然后将处理的结果重新存储到介质中

spark和hadoop的差异

spark和hadoop的根本差异是多个作业之间的数据通信问题:spark多个作业之间数据通信是基于内存,而hadoop是基于磁盘

spark核心模块

1、Spark简介

  1. spark core:spark core种提供了spark最基础最核心的功能,spark其他的功能都是在它的基础上进行扩展的
  2. spark sql:spark sql是spark用来操作结构化数据的组件,通过spark sql,用户可以使用sql或者apache hive版本的sql方言(HQL)来查询数据
  3. spark streaming:spark streaming是spark平台上针对实时数据进行流式计算的组件,提供了丰富的处理数据流的API
  4. spark MLib:MLlib是spark提供的一个机器学习算法库
  5. spark GraphX:GraphX是spark面向图计算提供的框架与算法库
上一篇:mysql在cmd命令下执行数据库操作


下一篇:Hadoop技术