开发者学堂课程【SaaS 模式云数据仓库系列课程 —— 2021数仓必修课：MaxCompute Spark 使用及常见问题】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/55/detail/1047

MaxCompute Spark 使用及常见问题

目录：

● MaxCompute Spark 介绍

● 开发环境搭建及常用配置

● 作业诊断

● 常见问题

 

一、MaxCompute Spark 介绍

MaxCompute Spark 是 MaxCompute 提供的兼容开源的 Spark 计算服务。

它在统一的计算资源和数据集权限体系之上，提供 Spark 计算框架，支持用户以熟悉的开发使用方式提交运行 Spark 作业，以满足更丰富的数据处理分析场景。

主要特性

■ 支持原生多版本 Spark 作业

■ 统一的计算资源

■ 统一的数据和权限管理

■ 与开源 Spark 相同的使用体验

适用场景∶

■离线计算场景∶GraphX、Mllib、RDD、Spark-SQL、PySpark

■ Streaming 场景

■读写 MaxCompute Table

■引用 MaxCompute Resource

■读写 VPC 环境下的服务，如 RDS、Redis、HBase、ECS 上部署的服务

■读写 OSS 非结构化存储使用限制

■不支持交互式类需求 Spark-Shell、Spark-SQL-Shell、PySpark-Shell 等

■不支持访问 MaxCompute 外部表，函数和 UDF

开发环境搭建

通过 Spark 客户端提交

（1）Yarn-Cluster 模式

下载 MC Spark 客户端

环境变量配置

√ JAVA HOME/SPARK_HOME/PATH

参数配置

√ Spark 社区版参数

√ MaxCompute 平台相关的参数

准备项目工程

√ Java/Scala∶ Jar 包

√ PySpark∶ Python 文件

任务提交

√./bin/spark-submit--master yarn-cluster

（2）Local 模式

./bin/spark-submit --master local[4]

IDEA调试

通过 Dataworks 提交

资源上传并提交

√ Java/Scala∶Jar包

√ PySpark∶ Python文件

√ File/Archive

参数配置

√主Jar+主类配置（Java/Scala）

√ 主Python文件（ PySpark）

√ Spark参数配置（资源申请/平台相关/网络访问相关）

√参数配置（如果需要）

√选择文件/Archive/Jar/Python（如果需要）

任务提交并运行

√将资源和参数组合为 spark-submit 命令，本质上也是 Yarn-Cluster 模 式

 

二.开发环境搭建

2.1运行模式

● 通过Spark 客户端提交

Yarn-Cluster 模式，提交任务到 MaxCompute 集群中

Local模式

●通过 Dataworks 提交

本质上也是Yarn-Cluster模式，提交任务到 MaxCompute 集群中

2.2 通过客户端提交

2.2.1 Yarn-Cluster 模式

●下载 MC Spark 客户端

Spark 1.6.3

Spark 2.3.0

● 环境变量配置

参数配置

将 $SPARK_HOME/conf/spark-defaults.conf.template 重命名为 spark-defaults.conf

参数配置参考下文

●准备项目工程

1git clone https://github.com/aliyun/MaxCompute-Spark.git

2 cd spark-2.x

3 mvn clean package

●任务提交

2.2.2 Local 模式

●与Yarn Cluster 模式类似，用户首先需要做以上准备工作

●任务提交

IDEA 调试注意

IDEA 运行 Local 模式是不能直接引用 spark-defaults.conf 里的配置，需要手动在代码里指定相关配置。

一定要注意需要在 IDEA 里手动添加 MaxCompute Spark 客户端的相关依赖（jars目录），否则会出现以下报错∶

the value of spark.sql.catalogimplementation should be one of hive in-memory but was odps

2.3 通过DataWorks提交

2.3.1资源上传

●本质上 MC Spark 节点的配置对应 于 spark-submit 命令的参数和选项。

● 上传资源∶

0～50MB∶ 可以直接在 DataWorks 界面创建资源并上传

50MB～500MB∶ 可以先利用 MaxCompute 客户端（CMD）上传，然后在DataWorks 界面添加到数据开发，参考文档。

● 资源引用∶

资源提交后，可以在 DataWorks Spark 节点界面选择需要的资源（jar/python/file/archive）

任务运行时∶资源文件默认会上传到 Driver 和 Executor 的当前工作目录

2.3.2 参数和配置

● Spark 配置项∶对应于 spark-submit 命令的 --conf 选项

>accessid，accesskey，projectname，endpoint，runtime.end.point，task.major.version 无需配置

>除此之外，需要将 spark-default.conf 中的配置逐条加到 dataworks 的配置项中

●给主类传参数（如 bizdate）

>首先在调度->参数中添加参数，然后在 Spark 节点"参数"栏引用该参数。多个参数用空格分隔。

>该参数会传给用户主类，用户在代码中解析该参数即可。

>参考文档

3.1配置的位置

3.1.1 Spark 配置的位置

●用户使用 Maxcompute Spark 通常会有几个位置可以添加 Spark 配置，主要包括∶

位置1∶spark-defaults.conf，用户通过客户端提交时在 spark-defaults.conf 文件中添加的 Spark 配置

位置2∶dataworks 的配置项，用户通过 dataworks 提交时在配置项添加的 Spark 配置，这部分配置最终会在位置3中被添加

位置3∶配置在启动脚本 spark-submit --conf 选项中

位置4∶ 配置在用户代码中，用户在初始化 SparkContext 时设置的 Spark 配置

●Spark配置的优先级

用户代码> spark-submit --选项> spark-defaults.conf配置>spark-env.sh配置>默认值

3.1.2 需要区分的两种配置

● 一种是必须要配置在 bspark-defaults.conf 或者 dataworks 的配置项中才能生效、而不能配置在用户代码中、

这类配置主要的特征是∶

与Maxcompute/Cupid平台相关∶ 一般参数名中都会带odps或者cupid，通常这些参数与任务提交/资源

 

申请都关系∶

●显而易见，一些资源获取（如driver的内存，core，diskdriver，maxcompute资源） 在任务执行之前就会用到，如果这些参数设置在代码中，很明显平台没有办法读到，所以这些参数一定不要配置在代码中.

 

三、配置介绍

配置的位置

■ spark-defaults.conf（通过Spark客户端提交）■ spark-submit --confi选项（通过Spark客户端提交）

■ Dataworks配置项（本质上是 spark-submit -conf）

■ 代码中初始化 SparkContext 时设置

配置的优先级

■ 用户代码>spark-submit--选项>spark-defaults.conf配置> spark-env.sh配置>默认值区分两种类型的参数

■ 必须要配置在 spark-defaults.conf 或者 Dataworks 的配置项中才能生效（任务启动之前需要）

√访问 VPC 相关的网络白名单配置

√ 资源申请相关的配置（包括 cores/memory/disk_size）

√ MaxCompute 的 project/ 账号 /endpoint/resource

√spark.master

■ 配置在代码中可以生效的（任务运行中才需要）√ Spark 相关的优化参数

■ 推荐把任务运行与优化相关的参数配置在代码中，与资源/平台相关的参数配置在spark-defaults.conf 或 Dataworks 配置项中

 

四、作业诊断

Logview

■ 链接位置∶

√在任务提交时会打印日志∶日志中含有 logview 链接 （关键字 logview url)

■ 主要信息:

√ StdErr 打印的是 spark 引擎输出的日志

√ StdOut 中打印用户作业输出到控制台的内容

Spark UI 和 Spark History UI

■ Spark UI

√ 任务运行时可用

■ Spark History UI

√任务结束后可用，渲染有一定延

4.1 Logview

4.1.1 Logview 介绍

· 在任务提交时会打印日志∶日志中含有 logview链接（关键字 logview url）

· Master 以及 Worker 的 StdErr 打印的是 spark 引擎输出的日志，StdOut 中打印用户作业输出到控制台的内容。

 

4.1.2 利用 Logview 排查问题

● 拿到 Logview，一般首先看 Driver 的报错，briver 会包含一些关键性的错误

● 如果 Driver 中出现个中类或者方法找不到的问题，一般是 jar 包打包的问题

● 如果 Driver 中出现连接外部 VPC 或者 OSS 出现 Time out，这种情况一般要去排查一下参数配置

● 如果 Driver 中出现连接不到 Executor，或者找不到 Chunk 等错误，通常是Executor 已经提前退出，需要进一步查看 Executor 的报错，可能存在 OOM

1.根据 End Time 做排序，结束时间越早，越容易是发生问题的 Executor 节点

2.根据 Latency 做排序，Latency 代表了 Executor 的存活的时间，存活时间越短的，越有可能是根因所在

4.2 Spark Ul和HistoryServer

· Spark UI 与社区版一致;在 logivew 的 summary 模块下找到 Spark UIl 链接∶

· Spark UI 的使用与社区原生版是一致的，可以参考文档

· 注意

>Spark UI 需要鉴权，只有提交任务的 Owner 才能打开

>Spark UI 仅在作业运行时才能打开，如果任务已经结束，那么 Spark UI是无法打开的，这时候需要查看 Spark History Server Ul

五.常见问题

1.local 模式运行的问题

·问题—∶​the value of spark.sql.catalogimplementation should be one of hive in-memory but was odps​

>原因在于用户没有正确地按照文档将 Maxcompute Spark 的 jars 目录添加到类路径，导致加载了社区版的 spark 包，需要按照文档将 jars 目录添加到类路径

· 问题二∶ IDEA Local 模式是不能直接引用 spark-defaults.conf 里的配置，必须要把 Spark 配置项写在代码中

问题三∶访问 OSS 和 VPC∶

> Local 模式是处于用户本机环境，网络没有隔离。而Yarn-Cluster 模式是处于Maxcompute 的网络隔离环境中、必须要要配置vpc访问的相关参数

> Local 模式下访问 oss 的 endpoint 通常是外网 endpoint，而 Yarn-cluster 模式下访问 vpc 的 endpoint 是经典网络 endpoint

2.jar 包打包的问题

· java/scala 程序经常会遇到 Java 类找不到/类冲突问题∶

>类冲突∶用户 Jar 包与 Spark 或平台依赖的 Jar 包冲突

>类没有找到∶用户 Jar 包没有打成 Fat Jar 或者由于类冲突引起

 

● 打包是需要注意∶

> 依赖为 provided 和 cornpile 的区别∶

■ provided∶代码依赖该 jar 包，但是只在编译的时候需要用，而运行时不需要，运行时会去集群中去

寻找的相应的 jar 包

■ compile∶代码依赖该 jar 包，在编译、运行时候都需要，在集群中不存在这些 jar包，需要用户打到自己的jar包中。这种类型的 jar 包一般是一些三方库，且与 spark 运行无关，与用户代码逻辑有关

> 用户提交的 jar 包必须是 Fat jar∶

■ 必须要把 compile 类型的依赖都打到用户 jar 包中，保证代码运行时能加载到这些依赖的类

● 需要设置为 provided 的 jar 包

> groupld为org.apache.spark的Jar包

>平台相关的Jar包

■ cupid-sdk

■hadoop-yarn-client

■ odpS-sdk

 

需要设置为 compile 的 jar 包

>oss 相关的 jar 包

■ hadoop-fs-oss

>用户访问其他服务用到的 jar 包∶

■ 如 mysql， hbase

> 用户代码需要引用的第三方库

 

3.需要引入 Python 包

●很多时候用户需要用到外部 Python 依赖

，首先推荐用户使用我们打包的公共资源，包含了常用的一些数据处理，计算，以及连接外部服务（mysql，redis，hbase）的三方库

> 如果不能满足用户需要，用户可以在该公共资源的基础上上传 wheel 包

>如果 wheel 包依赖链较为复杂，可以通过 Docker 容器进行打包

●使用 Docker 容器打包∶

>为了保证与线上环境一致，避免运行时 so 包找不到的问题，需要使用 Docker 容器进行打包

>Docker 容器本质只是提供了兼容性较好的 os 环境，用户需要在容器中进行打包，并将整个 Python 目录压

缩后上传到 MaxCompute Resource 中，最后在 Spark 任务中直接引用即可

>参见文档

4.需要引入外部文件

● 需要引用到外部文件的场景

>用户作业需要读取一些配置文件

>用户作业需要额外的 jar 包/Python 库

●可以通过两种方式上传资源∶

>通过 Spark 参数上传文件

> 通过 MaxCompute Resource 上传文件

● 通过 Spark 参数上传文件

> MaxCompute Spark 支持 Spark 社区版原生的 --jars，--py-files 等参数，可以在作业提交时通过这些参数将文件上传，这些文件在任务运行时会被上传到用户的工作目录下

> 通过 DataWorks 添加任务需要的资源，参见上文

●MaxCompute Resource

> spark.hadoop.odps.cupid.resources 参数，可以直接引用 MaxCompute 中的资源，这些资源在任务运行时也会被上传到用户的工作目录下

>使用方式

（1）通过 MaxCompute 客户端将文件上传（单个文件最大支持500MB）

（2）在 Spark 作业配置中添加 spark.hadoop.odps.cupid.resources 参数∶格式为. ，如果需要引用多个文件，需要用逗号隔开

（3）如果需要重命名，格式为，∶

●如何读取上传的文件∶

>如果需要读取上传的文件资源

>或者直接通过类加载器获取文件路径，然后再读取

>参者文档

5.VPC 访问的问题

●Maxcompute Spark 是独立运行在 Maxcompute 集群的，网络与外界隔离，因此无法直接访问 vpc 和公网，需要添加以下配置。

●北京和上海 Region 使用 smartnat

>需要配置

■ spark.hadoop.odps.cupid.vpc.domain.list

■ spark.hadoop.odps.cupid.smartnat.enable=true

>访问公网∶假如要访问google.com∶443，需要做以下两步∶

■ 提工单设置 project 级别白名单，把 google.com∶443 加到odps.security.outbound.internetlist

■ 配置作业级别的公网访问白名单∶spark.hadoop.odps.cupid.internet.access.list=google.com∶443

● 其他Region∶

>只需要配置spark.hadoop.odps.cupid.vpc.domain.list

>无法访问公网

 

● 注意事项∶

>vpc.domain.list 需要压缩成一行，不能包含空格

>支持同时访问同一个 Region 下的多个 VPC，需要配置所有要访问的 ip∶port 的白名单

>需要在要访问的服务中添加 ip 白名单，允许 100.104.0.0/16 网段的访问

>用户要保证所有可能访问到的 IP 都已经加到 vpc.domain.list，例如如果用户要访问位于 hdfs，hbase 这种多个节点的服务，一定要把所有的节点都添加进来，不然可能会遇到 Time out

 

6.OOM 的问题

● 可能出现 OOM 的情况∶

> 错误1∶在某些 Executor 中出现 Cannot allocate memory，一般是系统内存不足，此时可以调整

spark.yarn.executor.memoryOverhead 参数，注意该参数是会计算到总内存数的，也不需要一次性增加太多，小心调整即可

>错误2∶Executor抛出java.lang.OutOfMemoryError∶ Java heap space

>错误3∶ GC overhead limit exceeded

> 错误4∶ No route to host∶workerd********/Could not find CoarseGrainedScheduler，这类错误一般是一些 Executor 提前退出。如果一个task 处理的数据非常大，容易发生 OOM

● Driver OOM∶Driver OOM 的可能性比较小，但是也是有可能出现的

>如果需要使用 collect 算子将 RDD 的数据全部拉取到 Driver 上进行处理，那么必须确保 Driver 的内存足够大，否则会出现 OOM 内存溢出的问题。

SparkContext，DAGScheduler 都是运行在 Driver 端的。Stage 切分也是在Driver端运行，如果用户程序有过多的步骤，切分出过多的Stage.这部分信息消耗的是Driver的内存.这个时候就需要调大Driver的内存。有时候如果stage过 多，Driver端可能会有栈溢出的问题

 

●一些解决方法∶

>限 制 executor 并行度，将 cores 调小∶多个同时运行的 Task 会共享一个Executor 的内存，使得单个 Task 可使用的内存减少，调小并行度能缓解内存压力

>增加单个Executor 内存

>增加分区数量，减少每个 exeCutor 负载

>考虑数据倾斜问题，因为数据倾斜导致某个 task 内存不足，其它 task 内存足够

 

7. No space left on device

●这个错误意味这本地磁盘不足，通常这个报错会在 executor 上出现，并导致executor 挂掉

● 解决方案

>直接增加更多的磁盘空间∶默认 driver 和 executor 都各提供 20g 的本地磁盘，当磁盘空间不足时可以调整 spark.hadoop.odps.cupid.disk.driver.device_size

>如果调整本地磁盘大小到 100g 后，仍然报该错误，说明单个 executor 写的shuffle 数据已经超过上限，可能是遇到了数据倾斜，这种情况下可以对数据重分区。或者增加 executor 的数量

8.申请资源的问题

●申请不到资源的几种现象∶

（1）在 driver 端一般会打以下日志

>WARN YarnClusterScheduler: Initial job has not accepted any resources;check your cluster UI to ensure that workers are registered and have sufficient resources

（2）在 logview 中只能看到 driver，而 worker 数量为0

（3）在 spark ui 中只能看到 driver，而 worker 数量为0

●解决方案∶

>调整任务资源∶调整用户申请的 executor 总数或者单个 executor 的资源数量（一般是内存），如果单个executor请求的内存过多可能不太容易申请到>合理安排任务执行时间

● 其他注意事项∶

>必须配置 spark.master=yarn-cluster 才会正确的申请资源

9.其他问题

●如何切换 Spark 版本

>版本号规则介绍∶示例 spark-2.3.0-odps0.32.5

■ spark-2.3.0 是社区版本的 spark 版本号，Maxcompute Spark 基于该社区版本进行适配

■ odps0.32.5 是 Maxcompute Spark 的小版本号，随着小版本号的升级，可能进行一些 bug 修复和 sdk 的升级

> 用户提交作业的的 Spark 版本可能有以下几种情况∶

■ 情况1∶直接通过本地客户端提交任务，spark 版本就是用户本地客户端的版本

■ 情况2∶用户通过 dataworks 提交任务，取决于 dataworks gateway 的默认 spark版本，当前公共云 dataworks 公共资源组 gateway 的默认版本是spark-2.3.0-odps0.32.1

■情况 3 ∶用户通过 dataworks 提交任务，配置参数spark.hadoop.odps.spark.version，则会按照配置的版本号来寻找对应的 spark 客户端，用户可以配置 spark.hadoop.odps.spark.version=spark-2.3.0-odps0.32.5 手动切换版本

■ 情况4∶该情况优先级最高，用户可以在本地客户端或者是 dataworks 提交任务时配置以下参数，则类加载的优先级最高，因此会在 spark 任务启动时优先使用该版本的spark

spark.hadoop.odps.cupid.resources = public.__spark_libs__2.3.0odps0.32.5.zip

spark.driver.extraClassPath=./public.spark_libs_2.3.0odps0.32.5.zip/*/34:52

● 需要在代码中访问配置项∶

>spark 开头的参数直接通过 SparkConf 类提供的接口直接读取即可

Server 渲染速度慢

可以添加压缩配置∶ spark.eventLog.compress=true

●如何正确地 Kill 一个运行中的 Spark 任务

通常通过两种方式kil正在运行的 Spark 任务

（1）通过 odps cmd 执行 kill + instanceld;

（2）通过 dataworks 界面执行 stop

注意，直接在 spark 客户端或者 dataworks 的任务提交界面执行 Ctrl+ C 是无法 kill一个 S park 任 务的

●日志中文乱码，添加以下配置

​1. spark.executor.extraJavaOptions=-Dfile.encoding=UTF-8-Dsun.jnu.encoding=UTF-8​

​2.spark.driver.extraJavaOptions=-Dfile.encoding=UTF-8-Dsun.jnu.encoding=UTF-8 ​

3.如果是 pyspark 作业需要设置下如下两个参数∶

■​​ spark.yarn.appMasterEnv.PYTHONIOENCODING=utf8 ​

​■ spark.executorEnv.PYTHONIOENCODING=utf8 ​

■ 另外在 python 脚本的最前面加上如下的代码∶

六.相关文档

● MC Spark github wiki: https:/github.com/aliyun/MaxCompute-Spark/wiki

● Spark UI: https://spark.apache.org/docs/latest/web-ui.html

● Spark 配置∶https∶//sparkapache.org/docs/2.4.5/configuration.html