开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题,有需求都可以加群群内有各大数据库行业大咖,可以解决你的问题。加群请联系 liuaustin3 ,(共3400人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 +9)(1 2 3 4 5 6 7 8群已经爆满  9群 300+,开10群PolarDB专业学习群110+ 针对 SQLite 我们将建立一个新的群sqlite的群,如果需要请加群的时候单独告知)、

今天本来应该是PolarDB 弹性的第二篇,但是最近和阿里云的同学工作,他们给予我们很大的帮助,需要表达我们的感谢。

PolarDB 大能人系列--弹性我们有一个新需求! 普及数据库弹性知识

PolarDB 大能人系列--开年"我"就丢人 之 从节点不能用 !

事情还得要从去年说起,降本增效,我们大量的PostgreSQL 准备迁移到 PolarDB for PostgreSQL上,经过我们的计算,在经过一些功能的搭配和一些技巧的使用后,总体我们的成本,将减少特别客观的数字,这还是只是我们一部分的PostgreSQL 迁移后的效果。

在这段工作中,大家都付出了非常多的精力,也遇到很多的问题。这里我们可以列举一些我们遇到的问题。

 版本不同的迁移,我们的PG 和 PolarDB 之间迁移并不是同一个版本的,所有我们迁移第一个遇到的就是版本不同对于诸多问题的考验。

列举一些问题

1.1  版本不同,一部分函数在新的版本中不存在的问题,一部分原有的功能可能需要变动和改造的问题,这些都需要进行测试和确认。

1.2  迁移中逻辑复制槽的较多的问题,迁移中我们需要大量的逻辑复制槽,同时除了迁移需要逻辑复制槽,我们正常的工作也需要逻辑复制槽将数据传输到对应的部门,逻辑复制槽

1.3  extension在迁移中,自动与新库匹配的问题,以及版本的问题,这些处理都要在DTS里面数据同步之前在进行结构迁移中完成。

1.4  大量的数据校验加速的问题,一部分大表非常大,且一个物理实例有很多逻辑库,大表一个表20多个亿的,普通10亿,以下的表一堆,给同步中的DTS压力很大。

1.5  迁移中的源库的在同步中,还要进行DDL ,而且这些DDL 还封装在 PG 事务中的问题。

1.6  迁移中,源库在迁移中不能被影响,虽然我们进行了数据库的配置升级,但大量的并发的数据读取和校验,以及合并增量等技术 DTS这边进行了大量的支持

1.8  切换流程的捋顺,在整体迁移中我们已经研究出一套方案,在不停止业务的状态下,直接将业务切换到新的PolarDB上,给公司的业务平稳和快速切换奠定了基础。

1.9  迁移中的各种问题,及时的处理,这里要感谢 PolarDB 的耿亮耿老师, 路国庆路老师,以及DTS的 李森林,高金现,马康等,周六日 加班 ,凌晨加班,各种的和我们配合,感谢这些老师的付出和努力。

这里我们还没有提到,参数的优化和改变等遇到的问题和磋磨。

随着迁移的流程化,迁移的速度相较于之前,有了大幅度的提升,整体我们迁移一个5T的库从开始到结束以及验证数据不让一条数据缺失,我们只需要5-6个工作日,同时并发进行一次从1个物理库,到2个 3个 4个 一次进行,里面的复杂性和工作量,只有我们这些人知道。后面还有更大的硬骨头,超过10T的数据库还有不少,希望我们能顺利的完成工作。

整体工作会以更快速的速度展开,我们DBA将为企业降本增效做出巨大的贡献,感谢阿里云PolarDB  和 DTS 的团队,相信后面的迁移工作,他们会给我们更有力的支持和坚强的后盾。

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐