DTS开发记录(10)-- 可视化的流程编辑

   在将数据从数据源导出到数据目标的过程中,我们通常需要对数据进行一些检查、验证、加工、转换等操作,而这个加工转换的流程可能是非常复杂的,DTS通过可视化的拖拽的方式对数据加工转换流程进行自定义编辑。
   下面的一个例子,是将某个市的学生记录表中的数据导出到省的学生记录表中,市数据库使用的是SqlServer,省数据库采用的是Oracle。
DTS开发记录(10)-- 可视化的流程编辑

   左边的工具栏中是不同类型的Filter,它们用于对数据进行某些处理,这些Filter分为五类:
(1)数据载体:用于存储数据的容器,如数据库、文件、消息队列等,我们的数据源和数据目标就是某种数据载体。
(2)数据加工:用于对数据进行验证、变换等加工,如数据分裂Filter、数据合并Filter
(3)分支条件:用于对数据流程提供条件判断、动态改变数据转换的流程。
(4)大纲映射:用于在数据源大纲(包括扩展列)与目标大纲之间进行字段映射和匹配。
(5)日志记录:用于记录在数据转换迁移过程中的详细情况。

   到目前为止,DTS系统已经完成的主要功能、特性包括:
(1) 提供以拖拽的图形化方式编辑数据转换流程。
(2) 数据转换Filter以插件的形式提供,支持即插即用。
(3) 数据适配器以插件的形式提供,支持即插即用。
(4) 以xml形式保存流程编辑成果,可以直接修改xml文件以改变数据转换流程。
(5) 支持六种数据库类型:Oracle、SqlServer、MySql、DB2、Sybase、DM
(6) 支持三种数据源模式:全部导出、增量导出(触发器)、日志重试
(7) 支持定时任务。
(8) 支持任务日志。

   DTS当前版本可以在局域网内很好的进行工作,但是跨Internet的数据迁移了?这是我们下一阶段要解决的问题。我们打算使用MSMQ作为消息中间件以保证数据在Internet上的可靠传输,就像这样:
DTS开发记录(10)-- 可视化的流程编辑
   我们可能采用.NET 3.0的WCF来完成基于MSMQ的通信


  转到:DTS开发记录(序)



上一篇:Hooks + TS 搭建一个任务管理系统(终)-- 项目总结


下一篇:DataWorks:依赖上一周期(跨周期依赖)解析