0%

同步工具Bifrost使用

1. 新增数据源

数据源–>配置Name,ConnUri–>点击Check验证–>提交

ConnUri–配置MySQL数据库连接: 用户名:密码@tcp(IP:port)/数据库名

2.添加目标库

目标库列表–>配置ToServerKey、Plugin、ConnUri–>点击Check验证–>提交

ToServerKey : 全局唯一值,在添加目标库的时候必须唯一,在数据表设置同步的时候,需要用到这个

Plugin选择ClickHouse

ConnUri配置ClickHouse连接:tcp://ip:port?username=&password=&compress=true

3. 数据同步配置

3.1 从数据源列表里的 Setting 按钮 进入配置数据表同步的界面

3.2 选择要同步的数据库

3.3 绑定表和通道的关系

3.4 选择数据表及配置同步

添加成功后任务列表会多一条记录

3.5 初始化同步全量数据

4. 同步注意事项

4.1 确保有足够权限

  • 如果设置选择自动创建数据库/表,请确保clickhouse连接用户有足够权限。

  • 建议手动创建数据库、表

  • Bifrost日志路径:/``bifrost_v1.8.8-release_Linux-amd64-bin/logs

4.2 确保数据源出于连接状态

5. 常见问题

5.1 全量同步没有问题,但insert,update等增量没过去

  • 检查数据源是不是 running 状态,重新启动一下数据源

  • 检查数据表绑定的通道是不是 running 状态,尝试重启通道

  • 数据源的 Binlog 的 format 是 row 格式不?

在 MySQL 中执行 SHOW VARIABLES LIKE 'binlog_format'