CanalSharp.AspNetCore v0.0.4-支持输出到MongoDB

一、多样输出支持

  CanalSharp.AspNetCore是一个基于CanalSharp的适用于ASP.NET Core的一个后台任务组件,它可以随着ASP.NET Core实例的启动而启动,目前采用轮询的方式对Canal Server进行监听,获得MySql行更改(RowChange)后写入MySql指定的记录表中。在此次更新中,可以支持写入MongoDB数据库了,换句话说,可以支持MySql或MongoDB二选一的输出方式了。

CanalSharp.AspNetCore v0.0.4-支持输出到MongoDB

  这个项目的GitHub地址为:https://github.com/XiLife-OSPC/CanalSharp.AspNetCore

二、新的配置内容

  为了同时支持MySql及MongoDB,请更新CanalSharp.AspNetCore至0.0.4版本:

CanalSharp.AspNetCore v0.0.4-支持输出到MongoDB

  然后,如果要输出到MySql请更新以下配置到appSettings.json:

"Canal": {
    "Enabled": true,
    "LogSource": "Core.Product.Canal",
    "ServerIP": "192.168.16.190", // Canal-Server IP
    "ServerPort": 8001, // Canal-Server 端口号
    "Destination": "products", // 与Canal-Server中配置的destination保持一致
    "Filter": "xdp_products_dev\\..*", // 与Canal-Server中配置的filter保持一致
    "SleepTime": 100, // 空闲时间睡眠时间
    "BufferSize": 2048, // 如果涉及到更改的数据量较大请将BufferSize设大一些
    "Output": {
      "MySql":{
        "ConnStr": "Server=192.168.16.150;Port=3306;Database=products_dev;Uid=dev;Pwd=xdp" // 要输出的日志记录表所在的MySql连接字符串
      }
    }
  }

  如果要输出到MongoDB请更新以下配置到appSettings.json:

"Canal": {
    "Enabled": true,
    "LogSource": "Core.Product.Canal",
    "ServerIP": "192.168.16.190", // Canal-Server IP
    "ServerPort": 8001, // Canal-Server 端口号
    "Destination": "products", // 与Canal-Server中配置的destination保持一致
    "Filter": "xdp_products_dev\\..*", // 与Canal-Server中配置的filter保持一致
    "SleepTime": 100, // 空闲时间睡眠时间
    "BufferSize": 2048, // 如果涉及到更改的数据量较大请将BufferSize设大一些
    "Output": {
      "Mongo": {
        "ConnStr": "mongodb://192.168.16.150:27017",
        "DataBase": "xdp_behaviors_dev"
      }
    }
  }

  就这点配置文件的改动,其他的无需改动。

  具体的Sample示例可以参考这里:CanalSharp.AspNetCore.Sample

三、效果演示

  当在指定要监听的数据库对某张表的某行数据进行Update或Delete操作后,又或者进行Insert行操作后。

3.1 MySql

  如果选择输出到MySql数据库,那么canal.logs表(该表会自动创建)会自动记录变更的记录数据如下图所示:

CanalSharp.AspNetCore v0.0.4-支持输出到MongoDB

PS:INSERT操作会记录新增的数据行数据到CurrentValue列,DELETE操作会记录删除的数据行数据到PreviousValue列,UPDATE操作则会记录修改前PreviousValue和修改后的值CurrentValue。  

3.2 MongoDB

  如果选择输出到MongoDB,那么会自动记录变更数据到你指定的数据库中的changelogs中如下图:

CanalSharp.AspNetCore v0.0.4-支持输出到MongoDB

  就这样吧,Code仍然很乱,也没时间去优化了,先就这样将就用吧。

 

作者:周旭龙

出处:http://edisonchou.cnblogs.com

本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文链接。

上一篇:canal redis mysql实现数据同步


下一篇:k8s基于canel的网络策略