storm-kafka组件中KafkaOffsetMetric相关统计指标说明

storm-kafka是storm提供的一个读取kakfa的组件，用于从kafka队列中消费数据。KafkaOffsetMetric是storm-kafka中关于消费状态的Metric。本文将介绍KafkaOffsetMetric中的各个指标。

下面是kafka-spout 关于KafkaOffsetMetric 相关指标的示例：

{

    partition_3/latestTimeOffset=631044351,

    totalLatestTimeOffset=1031834482,

    totalSpoutLag=0,

    totalLatestEmittedOffset=1031834482,

    totalEarliestTimeOffset=1031834482,

    partition_3/latestEmittedOffset=631044351,

    partition_1/latestEmittedOffset=400790131,

    partition_3/earliestTimeOffset=631044351,

    partition_1/latestTimeOffset=400790131,

    partition_3/spoutLag=0,

    partition_1/earliestTimeOffset=400790131,

    partition_1/spoutLag=0

}

1.每个partition的消费状态相关指标

partition_3/latestTimeOffset=631044351,   #该分区最新的offset，

partition_3/latestEmittedOffset=631044351,#该分区最新的消费的offst

partition_3/earliestTimeOffset=631044351, #该分区最早的offset，

partition_3/spoutLag=0,                   #该分区消费的延迟：spoutLag= latestTimeOffset - latestEmittedOffset；

2. 整体的消费状态相关指标

totalLatestTimeOffset=1031834482,          #totalLatestTimeOffset += latestTimeOffset;          一个topic所有分区最新的offset值之和。

totalLatestEmittedOffset=1031834482,     #totalLatestEmittedOffset += latestEmittedOffset;  一个topic所有分区最新的消费的offset值之和。

totalEarliestTimeOffset=1031834482,        #totalEarliestTimeOffset += earliestTimeOffset;       一个topic所有分区最早的offset值之和。

totalSpoutLag=0,                                       #totalSpoutLag += spoutLag;                                  该topic消费的延迟