MaxCompute Studio使用心得系列3——可视化分析作业运行

上一篇写分享了通过MaxCompute Studio 编写sql脚本时“编译”功能带来的便捷,这次分享脚本编译好提交运行后,自助查看作业的执行情况。

我们很熟悉的是通过logview,去分析作业的执行情况,logview上有很详细的执行日志,而Studio不仅仅提供可视化的信息,还会明确给出一些分析结论如job是有否长尾或数据倾斜情况。

比如我写完一个sql脚本,编译成功

MaxCompute Studio使用心得系列3——可视化分析作业运行

接着执行脚本,Studio自动打开当前job的执行详细信息页面,包括job基本信息列表、详情展示和分析区(执行计划图、时序图、分析等)

MaxCompute Studio使用心得系列3——可视化分析作业运行

如上图,job执行失败:

  • 界面底部RUN日志中打出具体的错误信息。
  • 详情展示区默认显示执行计划图,可以看到子任务的依赖关系,双击每一个子任务节点图,可以展开更详细的信息。
  • 即使是失败的job,也可以切换到分析tab查看具体结论,如本次执行,job有长尾。

MaxCompute Studio使用心得系列3——可视化分析作业运行

可以点击具体的长尾节点查看该节点的长尾图进一步分析,相关长尾调优可以参考文档计算长尾调优

修改好sql脚本,再执行,执行成功如下图:

MaxCompute Studio使用心得系列3——可视化分析作业运行

成功的任务我们依然可以分析很多信息,比如查看那个任务task耗时热点:

MaxCompute Studio使用心得系列3——可视化分析作业运行

点击下面的进度条可以回放整个job执行的过程

MaxCompute Studio使用心得系列3——可视化分析作业运行

可以查看耗时最长的前10个节点

MaxCompute Studio使用心得系列3——可视化分析作业运行

可以查看每个子任务执行过程所有fuxi instance各种I/O信息:

MaxCompute Studio使用心得系列3——可视化分析作业运行

同样的可以看到分析信息,看是否还有可优化的点。

怎么样,这样看日志是不是感觉更容易理解了呢!

对了,MaxCompute Studio也有用户钉钉支持群:

MaxCompute Studio使用心得系列3——可视化分析作业运行

上一篇:使用 smem 可视化显示Linux内存使用情况


下一篇:如何选择并分辨阿里云CDN加速和全站加速DCDN的区别