数据库同步工具-Bifrost
由于 CloudCanal 免费版存在数据源数量限制(最多支持 5 个),我们在寻找替代的数据同步中间件时,发现了一款名为 Bifrost 的开源工具。Bifrost 是一款面向生产环境的异构数据同步中间件,支持将 MySQL 和 MariaDB 数据实时同步到多种目标系统,包括 Redis、ClickHouse、Elasticsearch 及其他常见数据服务。配置完成后提交即可。全量同步完成后,
1、背景
由于 CloudCanal 免费版存在数据源数量限制(最多支持 5 个),我们在寻找替代的数据同步中间件时,发现了一款名为 Bifrost 的开源工具。该工具使用简便,能够满足异构数据源之间的实时同步需求,因此本文对其基本使用方法进行介绍。
2、Bifrost 简介
Bifrost 是一款面向生产环境的异构数据同步中间件,支持将 MySQL 和 MariaDB 数据实时同步到多种目标系统,包括 Redis、ClickHouse、Elasticsearch 及其他常见数据服务。
相关链接如下:
-
GitHub:github.com/brokercap/Bifrost
Bifrost 在 GitHub 上已累计获得超过 2K Star,支持包括主流消息中间件、MPP 分布式数据库及 HTTP 协议服务在内的多种异构数据目标。
3、Bifrost 版本说明
目前 Bifrost 最新公测版本为 2.3.8-beta,稳定版为 1.8.8-release。自 2.x 版本发布以来,仍处于公测阶段,尚未推出正式稳定版。本文使用 Windows 平台进行演示,该版本部署过程较为简便。
4、部署与启动
下载 Bifrost Windows 版本后,解压并双击运行 Bifrost.exe 即可启动服务。
启动成功后,在浏览器中访问 https://127.0.0.1:21036/,使用默认账号(用户名:Bifrost,密码:Bifrost123)登录。登录后显示的首页如下:
(此处保留原图位置)
5、添加数据源
在控制台中依次执行以下步骤:
-
定义任务名称
-
选择数据源类型
-
填写数据库连接信息
-
执行连接测试
-
提交保存
完成上述操作后,数据源即可成功添加。
6、添加目标数据源
数据源添加成功后,系统会自动跳转至目标数据源配置页面。由于 Bifrost 未提供 StarRocks 专用插件,可通过 MySQL 插件实现数据同步至 StarRocks。配置完成后提交即可。
目标数据源添加成功后,首页将显示相关数据源的连接概况。
7、配置数据同步任务
在数据源管理页面中:
-
选择需要同步的数据库
-
选取具体的表
-
点击 “ADD” 添加同步表
8、设置目标数据源
点击已添加的表(显示为绿色),选择目标数据库,提交配置。
提交后系统将生成对应的数据同步任务,但此时任务尚未启动。
9、执行全量数据同步
首次同步时,由于目标端没有表结构,需先执行全量数据同步。在任务配置页面中,可设置同步条件与目标表名,保存后启动任务。
点击 “Start” 即可开始全量数据同步,首页中可查看已同步的数据记录数量。
10、启用增量数据同步
全量同步完成后,系统不会自动启动增量同步,需手动开启增量开关。开启后,Bifrost 将持续将增量数据同步至 StarRocks 目标表中。
更多推荐
所有评论(0)