TiDb和MaxCompute同步数据

一、环境准备

  • 保证TiDb集群外网可以访问
  • DataWorks

二、TiDb同步数据到MaxCompute上

1、允许TiDb远程连接

  • 登录到TiDb执行授权语句
grant all privileges on *.* to 'user'@'%' identified by 'password' with grant option;
FLUSH PRIVILEGES;

2、添加测试数据

TiDb和MaxCompute同步数据

3、创建结果表

  • 登录到DataWorks界面新建数据流程
  • 创建数据同步的结果表

TiDb和MaxCompute同步数据

4、添加数据源

  • 选择MySQL数据源
    TiDb和MaxCompute同步数据
  • 选择连接串联模式
    TiDb和MaxCompute同步数据

说明:jdbc url 填写TiDb对应的端口和ip

     用户名和密码:TiDb允许远程用户连接的用户名和密码
  • 点击测试连通性
    TiDb和MaxCompute同步数据

5、数据集成

  • 新建离线同步节点
    输入新建节点的名称
  • 选择刚才添加的TiDb数据源
    TiDb和MaxCompute同步数据
  • 点击数据预览,进行数据预览
    TiDb和MaxCompute同步数据
  • 点击运行按钮进行测试
  • 查看结果,选择临时查询
    TiDb和MaxCompute同步数据

执行sql语句

select * from tidb_user;

运行结果

TiDb和MaxCompute同步数据

三、MaxCompute同步数据到TiDb上

1首先在TiDb创建对应的结果表

TiDb和MaxCompute同步数据

2.新建离线同步节点

TiDb和MaxCompute同步数据

3.选择数据来源和数据去向

TiDb和MaxCompute同步数据

数据来源:odps
数据去向:mysql、选择步骤二中TiDb同步数据到MaxCompute上的数据源,选择刚创建的表(tidb_user)
3.点击运行查看结果

  • 进入到TiDb查看结果
select * from tidb_user;

TiDb和MaxCompute同步数据

上一篇:[译]大数据将何去何从?规范性分析的三个应用实例


下一篇:linux软件环境安装