大数据之Schedule调度错误(一)

 当我们在利用ooize发起整个任务的调度过程中,如果多个调度任务同时运行并且多个调度任务操作了相同的表,那么就会出现如下的错误关系:

Invalid path ''hdfs://iZh5w01l7f8lnog055cpXXX:8000/user/admin/xxx'':
No files matching path hdfs://iZh5w01l7f8lnog055cpXXX:8000/user/admin/xxx

解决方案: 

 这是因为这导入任务与另一个导入任务冲突了。这两个导入任务都是导入同一张表,sqoop导入会将源表的数据临时放在路径'hdfs://masterf:8020/user/root/'下,再将数据mv到目标表location下。当两个任务同时启动,其中一个任务会将路径'hdfs://masterf:8020/user/root/'下的数据MV,另一个任务就会读取不到数据,就会 报该错误。

  解决方案:

      将这两个任务调整调度时间间隔开。

上一篇:开源模型应用落地-LangChain高阶-LCEL-表达式语言(三)


下一篇:【Java】单例设计模式-2.单例设计模式设计方法