毫秒时间戳标识消息导致数据丢失的问题排查

场景

        进入队列的消息都会获取一个毫秒级的时间戳,标识消息的进入队列的时间,获取的时间戳方式如下:

#include <chrono>

std::int64_t curTime = std::chrono::time_point_cast<std::chrono::milliseconds>(std::chrono::system_clock::now()).time_since_epoch().count();

    每个访问队列的消费者保存之前访问的消息的时间戳,只有时间戳大于之前访问的时间戳才读取出来

现象

    队列的消息访问不完整

原因

    当前时间戳是毫秒级别,如果机器性能非常好或者数据一下子全部进入队列,会造成上述curTime返回的值都是同一个值,所以不同的消息携带相同的时间戳,就只有一个数据被访问到

解决

    消息进入到队列生成一个时间戳的时候,跟队列中最大的时间戳进行对比,如果相等,生成的时间戳自动加1,就不会有相同的时间戳问题了。

思考

    采用微妙级别的时间计数器,是否又会遇到相同的两个时间戳,毕竟CPU运行越来越快

std::int64_t curTime = std::chrono::time_point_cast<std::chrono::microseconds>(std::chrono::system_clock::now()).time_since_epoch().count();


引申

    实际上是否可以生成一个唯一的64位数字标识一条消息?这里会有一个问题就是在什么合适的时间删除该消息记录?再次增加一个时间戳,也是可以的,但没有上述解决方案,简单

上一篇:再看数据库——(3)触发器


下一篇:Spark SQL with Hive