关于大规模录入的数据流转

因为要双次录入,双次一致才入正式库。经过试点区数据录入的教训,决定改进一下数据在库中的流转,A与B在 Table_T 录完后,若对比相同,选其中一条数据进入 Table_M ,同时将 A与B 的数据从Table_T 中移出,原样转入 Back_TableT,复核员在 Table_M 中进行复核,如数据没问题时,再转移进 Table_F 。  这样就有了4种同构表。  临时表、中间表、备份表、正式表。

      试点区数据时,因为程序的不完善,丢失了约2%的数据,还错位了一些数据,这次把所有的录入都原样保管,应该在程序出了问题时,仍能补救。如果在二个月后发现某项数据一直是错误的,会造成重大损失;
    还有,这样转移的考虑是,我们对于大数据的处理十分缺乏经验,这样把集中操作分散开来,同时的一种操作也不过在一张几万行记录的表里,应该不会随时间对实时录入速度产生越来越严重的影响。
   哪位朋友进行过大数据量或普查性质的表单实时录入软件,和俺联系了:)
本文转自   wenyan  51CTO博客,原文链接:http://blog.51cto.com/wenyan/10129
上一篇:【独家】阿里天池IJCAI17大赛第四名方案全解析(附代码)


下一篇:Java反射机制(四):动态代理