数据同步过程中需要考虑的问题

在数据同步过程中,需要对数据源进行一些分析。分析的过程中,要考虑数据的种类,要进行的处理,以及数据的时效性。

数据的种类

  • 对于来的数据,可以分为以下几类:

insert
update
delete
  • 针对这三种的组合有两种:
只有insert的
insert/update/delete并存的

对数据的处理

对于要进入的目的库来说,有一下处理类型:
  • 不处理
  • 针对单表进行处理,比如数据类型转换,数据校验等
  • 需要关联小表进行处理,比如码表转换
  • 需要关联打标进行处理

时效的要求

抽取数据、处理数据 、导入数据都需要时间,在满足不同的时效,应该如何处理
上一篇:一个批量计算的调度系统的设计与实现


下一篇:WMI监控碰到错误号53的问题定位