在进行数据开发中,有很多时候需要使用shell 来调用其他语言。但是在DataWorks上,底层的机器运行任务时都会有沙箱限制,沙箱会限制网络访问和禁止本地IO读写等等,会带来诸多不便。那么我们如何将这部分任务运行在非沙箱环境(自己的机器上)呢。
我们可以将任务的运行环境预先在某台机器上准备好,然后将任务指定在这台机器上运行。
注:目前只有华东2支持将shell任务运行在自定义资源组上。
- 新增自定义资源组,这部分可以直接查看DataWorks的官网文档新增资源组,本文不多做赘述。
- 准备任务运行环境,用户自行准备。
- 编写任务代码。
- 将任务指定在新增的资源组上运行。