热议话题回顾:数据上云和迁移中可能会遇到哪些问题-曾文旌

数据上云和迁移中可能会遇到哪些问题

发布者:曾文旌-阿里数据库专家,关注PostgreSQL相关技术

大家在使用云上数据产品时,免不了要把线下数据迁移上云,或在云上各数据产品之间移动数据。在这个过程中,可能会遇到各种问题,比如在迁移上T的数据或在交易库与分析库之间迁移数据时,往往会无从下手。

我们围绕这些话题进行讨论:

1.各位都使用什么手段把数据上云或迁移数据?
2.在PostgreSQL、Greenplum数据迁移过程中碰到了哪些问题?你是如何解决的?
3.关于ApsaraDB家族的关系数据库PostgreSQL PPAS和分析数据库Greenplum,你有哪些问题或使用技巧?

【精彩互动】

   网友earoson :有没有反向迁移功能,下云有方案吗?

  • 曾文旌:这是个好问题,你可以下载我们每天的基础备份,在线下恢复。



     网友anderson_520 :请问,云上 mysql 中的数据怎么迁移到 gp 中进行分析?

  • 曾文旌:参考:https://yq.aliyun.com/articles/59917?spm=5176.8091938.0.0.leKWpm
  • 曾文旌 :我们开源的工具 mysql2pgsql 也可以做到,请关注 https://github.com/aliyun/rds_dbsync


     阿里专家德哥:物联网中往往会有大量的数据存在文件中,怎么将这类数据快速的导入Greenplum进行分析呢?

  • 德哥:物联网可能包含大量的GIS类型,JSON格式的数据。 文件的方式存储,前端可能会有流式或OLTP,但是从原始文件进数据仓库应该是比较高效的方式,比从前端OLTP数据库再ETL来得快。
  • idealities:物联网数据,是不是使用InfluxDB这种更合适?
  • 德哥:TS数据库的应用场景有限,物联网除了有时序属性,还有其他属性。这方面TS数据库是无法满足的。 通常需要多个数据库结合来使用。


网友pg搬运工:阿里云Greemplum怎么导入大量数据?

  • 曾文旌:参考 https://yq.aliyun.com/articles/31632?spm=5176.8091938.0.0.vAsfBW该方法适合大量数据导入


网友廖宙基:物联网中往往会有大量的数据存在文件中,怎么将这类数据快速的导入Greenplum进行分析呢?

  • 曾文旌:是的 oss_ext 能满足您的需求,只需要上传文件到 oss ,就能高速入库 greenplum


网友内心迩最重:云虚拟主机怎么安装数据库?

  • 曾文旌:虚拟主机上用户需要自己搭建和运维数据库,所以我们推出了RDS服务。
  • cnkfz:虚拟主机产品无法自行配置,买啥样就是啥样
  • 皓月大路:用ecs不就行了


网友ruby1986:打算业务系统上云,数据有几百G,业务间断只能有2到3小时,因为也许系统数据需要连续性,300g数据导入2小时左右可以搞定吗?什么办法更好一些mssql

  • 曾文旌:我们可以采用 全量迁移 + 增量迁移 的方法做到业务停的时间尽量短。
  • 只需要在最后等待增量追平主库和数据校验阶段停业务。


网友1277376506016181:如何实现将mysql数据复制到postgresql中,要求实时增量的。

  • 曾文旌:基于binlog解析的数据同步能做到实时异构迁移,尽请期待。


网友kylin_yang:怎么把本地的SQLServer数据库上传并导入到阿里云RDS?性能怎么样?管理复杂度如何?

  • 石沫 :目前从本地上云集中方式,请根据情形选择:

1. SQL Server Import/Export 工具逻辑导入,比较慢一点,并且有点麻烦,但利用的是SQL Server自己的工具

2. 使用SQL Server备份还原工具,SQL Server自己提供的工具,简单可靠,备份文件后,通过FTP上传文件,并且将数据库导入,备份文件时请选用压缩方式(可能存在版本不支持,取决于你的本地版本)

3. 利用阿里云DTS工具,这个实现全量与增量,具体使用届时可以联系相关同学支持

  • dbfun:阿里dts迁移


网友1261476420110162:请问在云数据和本地数据怎样能进行快速实时大数据量的进行交换。

  • 曾文旌:这个主要受限网络,如果网络质量能保证,我们有相关的服务能做到。目前一次性上云主要推荐全量+增量的方案。
网友1261476420110162:请问在云数据和本地数据怎样能进行快速实时大数据量的进行交换。
  • 曾文旌:这个主要受限网络,如果网络质量能保证,我们有相关的服务能做到。目前一次性上云主要推荐全量+增量的方案。

网友云中大鹏:毕竟东西在云上,不能占用网络带宽,不能锁表停库,那就只能做主从到另一台机器上了,然后另一台机器向下拷贝,来分离主库的使用了,维护成本会加大,不知道还有没有什么好的解决办法。
  • 曾文旌:尽量所有业务在云上完成。定期备份数据到线下。
话题原文点此进入>>

上一篇:【剧透】云栖大会来社区展位玩点啥?


下一篇:云栖社区发福利啦!每日一分享,50份好礼送不停