channel |
- |
|
type |
- |
组件类型名称,必须是hdfs |
hdfs.path |
- |
HDFS路径,例如:hdfs://mycluster/flume/mydata |
hdfs.filePrefix |
FlumeData |
flume在hdfs目录中创建文件的前缀 |
hdfs.fileSuffix |
- |
flume在hdfs目录中创建文件的后缀 |
hdfs.inUsePrefix |
- |
flume正在写入的临时文件的前缀 |
hdfs.inUseSuffix |
.tmp |
flume正在写入的临时文件的后缀 |
hdfs.rollInterval |
30 |
多长时间写一个新的文件 (0 = 不写新的文件),单位:秒 |
hdfs.rollSize |
1024 |
文件多大时写新文件,单位:字节(0: 不基于文件大小写新文件) |
hdfs.rollCount |
10 |
当写一个新的文件之前要求当前文件写入多少事件(0 = 不基于事件数写新文件) |
hdfs.idleTimeout |
0 |
多长时间没有新增事件则关闭文件(0 = 不自动关闭文件),单位:秒 |
hdfs.batchSize |
100 |
写多少个事件开始向HDFS刷数据 |
hdfs.codeC |
- |
压缩格式:gzip, bzip2, lzo, lzop, snappy |
hdfs.fileType |
SequenceFile |
支持的值有:SequenceFile,DataStream,CompressedStream |
hdfs.maxOpenFiles |
5000 |
最大打开文件数。如果数量超了则关闭最旧的文件 |
hdfs.minBlockReplicas |
- |
对每个hdfs的block设置最小副本数。不指定则使用hadoop的配置值(默认为1) |
hdfs.writeFormat |
- |
对于sequence file记录的类型。Text或者Writable(默认值) |
hdfs.callTimeout |
10000 |
为HDFS操作(如open、write、flush、close)准备的时间,单位:毫秒 |
hdfs.threadsPoolSize |
10 |
每个HDFS sink用于HDFS io操作的线程数 |
hdfs.rollTimerPoolSize |
1 |
每个HDFS sink用于调度计时文件滚动的线程数 |
hdfs.round |
false |
是否需要新建文件夹以支持文件夹滚动 |
hdfs.roundValue |
1 |
与roundUnit一起指定文件夹滚动的时长,会四舍五入 |
hdfs.roundUnit |
second |
控制文件夹个数。多长时间生成新文件夹,可设置为second, minute或hour |
hdfs.timeZone |
Local Time |
用于解析目录路径的时区名称,例如:America/Los_Angeles |
hdfs.useLocalTimeStamp |
false |
一般设置为true以使用本地时间。若不使用,则要求flume发送的事件header中带有时间戳 |