Spark菜鸟学习营Day6 分布式代码运行调试

Spark菜鸟学习营Day6

分布式代码运行调试

作为代码调试,一般会分成两个部分

  1. 语法调试,也就是确定能够运行
  2. 结果调试,也就是确定程序逻辑的正确

其实这个都离不开运行,所以我们说一下如何让开发的Spark程序运行。

Spark的代码有一个特色,就是延时运行机制,就是当我们调用map等方法时,并不会立即触发运行。

而是会等待后续统一触发的处理。

所以我们需要在程序加入这个触发处理的环节。

这里分三步:

  • 步骤1:在程序中使用append方法输出计算结果
        appendResultRDD(extendedQtslRDD, QtslTempPojoExtend.class);
  • 步骤2:在测试程序中获取输出,并且进行打印
            printResult(
result.seek("QtslTempPojoExtend", QtslTempPojoExtend.class)
.get());
  • 步骤3:如果结果正确,请将控制台中打印的运行结果保存为json文件,并添加对应断言,这样我们就形成了一个自动化测试案例!!!
        assertRDDEquals(
result.seek("QtslTempPojoExtend", QtslTempPojoExtend.class)
.get(),
"OUT_TRD_QTSL_EXTEND_600_1",
"测试第一个输出");

这样就完整完成了我们一个程序的开发!!!

上一篇:(十二) 一起学 Unix 环境高级编程 (APUE) 之 进程间通信(IPC)


下一篇:windows环境下解决web服务假死的问题