Spark On HBase Idea远程调试

本文介绍如何在本地IDEA远程调试Spark On HBase。

前提条件:

1、已经安装了Intellij IDEA,Git、Maven。
2、HBase集群开通了外网地址。
3、HBase集群为IDEA运行的机器开通了白名单。

说明:

本实例用到的版本

软件名称 版本
Intellij IDEA community 2018.3.1
操作系统:macOS/Windows mac:10.13.6; Windows 10
jdk 1.8.0_25
scala 2.11.8
Maven 3.3.9

Idea 远程调试步骤

步骤 1: 下载样例代码

使用git clone 命令下载代码样例代码。

git clone https://github.com/aliyun/aliyun-apsaradb-hbase-demo.git

步骤 2: 导入代码到IDEA。

打开IDEA,选择"File">"Open...",选择步骤 1下载的代码:aliyun-apsaradb-hbase-demo

步骤 3: 设置运行配置

本实例Debug的类为:com.aliyun.spark.hbase.SparkOnHBaseSparkSession
点击IDEA运行按钮,选择"Edit Configurations..."进入配置页面,配置内容如下页面:
Spark On HBase Idea远程调试

主要配置参数说明:

参数名称 说明
Main class com.aliyun.spark.hbase.SparkOnHBaseSparkSession 运行主类
VM options -Dspark.master=local Spark 本地运行
Program arguments hb-xxx:2181,hb-xxx:2181,hb-xx:2181 mytable spark_on_hbase 三个参数分别为:ZK链接地址(外网地址),hbase侧的表名 ,spark侧的表名
Use classpath of module spark-examples 同时勾选“Include dependencie是with "Provided" scope”

步骤 4:开始Debug

在类com.aliyun.spark.hbase.SparkOnHBaseSparkSession的如下位置设置断点:
Spark On HBase Idea远程调试

搜索类:org.apache.hadoop.hbase.spark.DefaultSource,并在如下位置设置断点:
Spark On HBase Idea远程调试

然后右键类com.aliyun.spark.hbase.SparkOnHBaseSparkSession,选择“Debug SparkOnHBaseSparkSession”开始Debug。如下:
Spark On HBase Idea远程调试

上一篇:Spark on k8s


下一篇:jquery插件 - 表单插件