数据上云和迁移中可能会遇到哪些问题
大家在使用云上数据产品时,免不了要把线下数据迁移上云,或在云上各数据产品之间移动数据。在这个过程中,可能会遇到各种问题,比如在迁移上T的数据或在交易库与分析库之间迁移数据时,往往会无从下手。
我们围绕这些话题进行讨论:
1.各位都使用什么手段把数据上云或迁移数据?
2.在PostgreSQL、Greenplum数据迁移过程中碰到了哪些问题?你是如何解决的?
3.关于ApsaraDB家族的关系数据库PostgreSQL PPAS和分析数据库Greenplum,你有哪些问题或使用技巧?
【精彩互动】
网友earoson :有没有反向迁移功能,下云有方案吗?
- 曾文旌:这是个好问题,你可以下载我们每天的基础备份,在线下恢复。
网友anderson_520 :请问,云上 mysql 中的数据怎么迁移到 gp 中进行分析?
- 曾文旌:参考:https://yq.aliyun.com/articles/59917?spm=5176.8091938.0.0.leKWpm
- 曾文旌 :我们开源的工具 mysql2pgsql 也可以做到,请关注 https://github.com/aliyun/rds_dbsync
阿里专家德哥:物联网中往往会有大量的数据存在文件中,怎么将这类数据快速的导入Greenplum进行分析呢?
- 德哥:物联网可能包含大量的GIS类型,JSON格式的数据。 文件的方式存储,前端可能会有流式或OLTP,但是从原始文件进数据仓库应该是比较高效的方式,比从前端OLTP数据库再ETL来得快。
- idealities:物联网数据,是不是使用InfluxDB这种更合适?
- 德哥:TS数据库的应用场景有限,物联网除了有时序属性,还有其他属性。这方面TS数据库是无法满足的。 通常需要多个数据库结合来使用。
网友pg搬运工:阿里云Greemplum怎么导入大量数据?
- 曾文旌:参考 https://yq.aliyun.com/articles/31632?spm=5176.8091938.0.0.vAsfBW该方法适合大量数据导入
网友廖宙基:物联网中往往会有大量的数据存在文件中,怎么将这类数据快速的导入Greenplum进行分析呢?
- 曾文旌:是的 oss_ext 能满足您的需求,只需要上传文件到 oss ,就能高速入库 greenplum
网友内心迩最重:云虚拟主机怎么安装数据库?
- 曾文旌:虚拟主机上用户需要自己搭建和运维数据库,所以我们推出了RDS服务。
- cnkfz:虚拟主机产品无法自行配置,买啥样就是啥样
- 皓月大路:用ecs不就行了
网友ruby1986:打算业务系统上云,数据有几百G,业务间断只能有2到3小时,因为也许系统数据需要连续性,300g数据导入2小时左右可以搞定吗?什么办法更好一些mssql
- 曾文旌:我们可以采用 全量迁移 + 增量迁移 的方法做到业务停的时间尽量短。
- 只需要在最后等待增量追平主库和数据校验阶段停业务。
网友1277376506016181:如何实现将mysql数据复制到postgresql中,要求实时增量的。
- 曾文旌:基于binlog解析的数据同步能做到实时异构迁移,尽请期待。
网友kylin_yang:怎么把本地的SQLServer数据库上传并导入到阿里云RDS?性能怎么样?管理复杂度如何?
- 石沫 :目前从本地上云集中方式,请根据情形选择:
1. SQL Server Import/Export 工具逻辑导入,比较慢一点,并且有点麻烦,但利用的是SQL Server自己的工具
2. 使用SQL Server备份还原工具,SQL Server自己提供的工具,简单可靠,备份文件后,通过FTP上传文件,并且将数据库导入,备份文件时请选用压缩方式(可能存在版本不支持,取决于你的本地版本)
3. 利用阿里云DTS工具,这个实现全量与增量,具体使用届时可以联系相关同学支持
- dbfun:阿里dts迁移
网友1261476420110162:请问在云数据和本地数据怎样能进行快速实时大数据量的进行交换。
- 曾文旌:这个主要受限网络,如果网络质量能保证,我们有相关的服务能做到。目前一次性上云主要推荐全量+增量的方案。
网友1261476420110162:请问在云数据和本地数据怎样能进行快速实时大数据量的进行交换。
- 曾文旌:这个主要受限网络,如果网络质量能保证,我们有相关的服务能做到。目前一次性上云主要推荐全量+增量的方案。
网友云中大鹏:毕竟东西在云上,不能占用网络带宽,不能锁表停库,那就只能做主从到另一台机器上了,然后另一台机器向下拷贝,来分离主库的使用了,维护成本会加大,不知道还有没有什么好的解决办法。