1、背景
由于 CloudCanal 免费版存在数据源数量限制(最多支持 5 个),我们在寻找替代的数据同步中间件时,发现了一款名为 Bifrost 的开源工具。该工具使用简便,能够满足异构数据源之间的实时同步需求,因此本文对其基本使用方法进行介绍。

2、Bifrost 简介
Bifrost 是一款面向生产环境的异构数据同步中间件,支持将 MySQL 和 MariaDB 数据实时同步到多种目标系统,包括 Redis、ClickHouse、Elasticsearch 及其他常见数据服务。

相关链接如下:

Bifrost 在 GitHub 上已累计获得超过 2K Star,支持包括主流消息中间件、MPP 分布式数据库及 HTTP 协议服务在内的多种异构数据目标。

3、Bifrost 版本说明
目前 Bifrost 最新公测版本为 2.3.8-beta,稳定版为 1.8.8-release。自 2.x 版本发布以来,仍处于公测阶段,尚未推出正式稳定版。本文使用 Windows 平台进行演示,该版本部署过程较为简便。

4、部署与启动
下载 Bifrost Windows 版本后,解压并双击运行 Bifrost.exe 即可启动服务。

启动成功后,在浏览器中访问 https://127.0.0.1:21036/,使用默认账号(用户名:Bifrost,密码:Bifrost123)登录。登录后显示的首页如下:

(此处保留原图位置)

5、添加数据源
在控制台中依次执行以下步骤:

  • 定义任务名称

  • 选择数据源类型

  • 填写数据库连接信息

  • 执行连接测试

  • 提交保存

完成上述操作后,数据源即可成功添加。

6、添加目标数据源
数据源添加成功后,系统会自动跳转至目标数据源配置页面。由于 Bifrost 未提供 StarRocks 专用插件,可通过 MySQL 插件实现数据同步至 StarRocks。配置完成后提交即可。

目标数据源添加成功后,首页将显示相关数据源的连接概况。

7、配置数据同步任务
在数据源管理页面中:

  • 选择需要同步的数据库

  • 选取具体的表

  • 点击 “ADD” 添加同步表

8、设置目标数据源
点击已添加的表(显示为绿色),选择目标数据库,提交配置。

提交后系统将生成对应的数据同步任务,但此时任务尚未启动。

9、执行全量数据同步
首次同步时,由于目标端没有表结构,需先执行全量数据同步。在任务配置页面中,可设置同步条件与目标表名,保存后启动任务。

点击 “Start” 即可开始全量数据同步,首页中可查看已同步的数据记录数量。

10、启用增量数据同步
全量同步完成后,系统不会自动启动增量同步,需手动开启增量开关。开启后,Bifrost 将持续将增量数据同步至 StarRocks 目标表中。

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐