DataWorks百问百答24:怎么处理同步文件名加后缀问题?

OSS/FTP/SFTP/HDFS同步后文件名加后缀的原因:

数据集成同步数据到OSS/FTP/SFTP/HDFS时将并行多线程写入,由于对应文件系统限制,只能生成多个不重名文件才可以保证同步任务的并发运行,所以在每个文件后面加上一串随机字符串防止文件名冲突。

解决方法

目前只有OSS插件支持并发写入单个文件并且不会在文件后面加后缀,_FTP/SFTP/HDFS插件不支持_

OSS插件操作方法

在[脚本模式]增加如下配置:"writeSingleObject": true

DataWorks百问百答24:怎么处理同步文件名加后缀问题?

注意:如果您自定义资源组上面设置上面的参数不生效是因为您datax版本比较老建议升级版本。

DataWorks百问百答历史记录 请点击这里查看>>

更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】

上一篇:粗放增长到高效发展,阿里云云市场如何助力中小企业成功


下一篇:DataWorks百问百答26:特殊fieldDelimiter怎么设置?