flink落地到hdfs的文件,在hive中读不到数。查看对应路径下文件为.inprogress文件。
原因:.inprogress文件为未完成文件,hive读取不到点开头的文件
flink写hdfs,正在写的文件会是.inprogress的,写完成会滚动为正常文件
通过withRollingPolicy的DefaultRollingPolicy设置合理的最大文件大小和滚动时间。
注意:文件大小如果设置过大,则一直是不可见文件;设置过小,则会产生很多小文件
相关文章
- 02-18day08文件操作的三步骤,基础的读,基础的写,with...open语法,文件的操作模式,文件的操作编码问题,文件的复制,游标操作
- 02-18hadoop中HDFS文件系统 nameNode出现的问题 nameNode无法打开
- 02-18Flink:recursive.file.enumeration读hdfs超时无法提submit job问题
- 02-18解决HDFS小文件带来的计算问题
- 02-18flume断点续传(防止重复消费)的解决方案和flume 向hdfs sink写数据小文件过多问题
- 02-18flink写hdfs inprogress文件问题
- 02-18HDFS存在大量小文件问题的解决方案
- 02-18hdfs小文件问题
- 02-18读取parquet文件后和其它表join后回写问题
- 02-18spark 写 parquet 文件到 hdfs 上、以及到本地