1 背景及目标
某集团进行数字化转型，围绕着新零售业务中台能力为核心，数据中台为底座，搭建统一会员中心体系，实现会员的统一管理与打标，精准营销，提升经营效率。
目前在数据中台现有的数据中，微商城系统、IOT系统、客服系统、CCPLAN、客道订单、富润订单存有九阳集团的会员数据信息，数据量共计89677179条，数据还需根据会员中心规则清洗加工得到最终的会员数据。
针对该集团会员历史数据，由数据中台割接迁移到会员中心，为保证数据平滑割接，需完成两个目标：
✓ 数据方面：完整、有序、及时准确的迁移到会员中心。
✓ 业务方面：在线化数据割接，平稳完成业务过渡。
2 割接对象及范围
本期割接迁移的数据主要是数据中台里微商城系统、IOT系统、客服系统、CCPLAN、KD订单、FR订单经过数据清洗融合后的会员数据，迁移到会员中心DRDS MySQL 数据库，版本号是5.7。
3 数据清洗
3.1基础数据
针对该集团泛会员数据是集会员信息，消费者信息于一体，因此在汇总泛会员数据的情况下，进行数据清洗形成统一的会员信息。清洗中主要涉及的指标包括用户手机号、会员ID、生日、年龄、性别、星座、省、市、区等信息的清洗。
第一步：手机号筛选
各个系统会员数据合并的规则是选取用户最新的一条数据进行插入，其他会员属性字段如果为空，则根据有此记录的最新一条数据进行插入汇总。年龄、星座的数据根据会员生日计算得出，会员等级则是根据会员当前等级换算为成长值，对应会员中心最新的会员等级计算规则，得出会员等级数据。
3.2 积分数据
微商城的存量开卡会员数据和IOT的注册会员切换至会员中心私域线上运营组下，会员等级和积分转换为最新的成长值和积分，并将两个渠道的数据合并。
微商城会员等级和积分转换方案
1、会员等级折合成成长值
1）普卡：折合0成长值
2）金卡：折合1500成长值
3）白金：折合3000成长值
4）钻石：折合5000成长值
2、会员积分转换算法
当前微商城积分的价值100积分=1元，如新的积分价值为100积分=1元，如用户现在有2000积分。2000积分（旧）→2000积分（新）
IOT会员等级和积分转换方案
1、会员等级折合成成长值：原有所有等级都折合0成长值
2、会员积分转换算法
1）当前IOT小程序积分按照1：1转换为新的积分，如用户现在有2000积分。2000积分（旧）→2000积分（新）
2）IOTAPP端的积分按照10：1转换为新的积分，如用户现在有2000积分。2000积分（旧）→200积分（新），转换完不足1的，向上取整到1
新的免费会员体系会员等级规则如下：
悦享普卡：0成长值
悦享金卡：500成长值
悦享铂金卡：1000成长值
悦享钻石卡：2000成长值
4 总体设计
4.1割接原则
✓ 通过割接数据迁移演练确保迁移数据的完整与准确，需要控制割接时间
✓ 割接总体风险受控；
✓ 通过整体割接演练确保割接计划及割接步骤完整、准确与割接过程受控。
✓ 通过整体割接演练确保正式割接上线各步骤操作配合默契娴熟，执行脚本明确；
4.2 割接策略
本次割接采用的是全量方式进行数据割接：
✓ 全量割接：全量割接的方式主要对于历史数据、主数据采用全量割接策略，数据中台会员数据每个分区存储的全量数据，割接也将每天全量割接。
4.3 数据稽查
数据稽核是数据割接的最后一步，稽核的目的是保证数据中台和会员中心数据一致和会员中心数据可用。数据稽核主要分为统计稽核和测试稽核，统计稽核一是对表数据总量的稽核，二是结合业务指标需求的统计稽核，如当日新增会员数量；测试稽核是抽样性比对，在数据中台表中中随机抽样一部分数据，在会员中心表中进行比对。采用脚本进行稽核时，主要是统计脚本，计算过程中要尽量避免对大表进行全表扫描。
✓ 统计稽核，一次性/周期性统计待比对对象统一时间段内的数据量，然后进行比对分析。
✓ 测试稽核，在数据中台中随机抽样 10000 条数据，在新系统中进行查询比对；
✓ 稽核保障，为保证数据稽核结果的准确可信，需要对稽核脚本和稽核过程进行记录分析，要保证有据可查。数据稽核不仅仅是发现问题，数据稽核要包含数据修复，对稽核出的问题数据进行修复
5 实施方案
5.1 割接环境准备
✓ DRDS MySQL 数据库的读写权限
✓ 配置源端数据库和目标数据库访问参数
✓ 添加白名单授权
5.2 开发任务
5.2.1 配置管道任务
5.2.2 配置源表、目标表参数
5.2.3 配置调度任务
5.3 稽查过程
目标库稽核是对源数据库与目标库的比对，目标库与源数据库的表对象一致，数据从源数据库迁移至目标库。在该环节稽核做源数据库与目标数据表对象间的一致性和完整性验证。
◼ 验证目标库表结构上与源数据库表结构是否一致
◼ 验证目标库列属性值与源数据库表字段列属性值映射是否一致
◼ 验证目标库和源数据库表对象数据量是否相同
◼ 在旧系统中随机抽样 10000 条数据在新系统进行查询比对
◼ 一致性主要通过人工比对的方式进行验证