1. 新增数据源
数据源–>配置Name,ConnUri–>点击Check验证–>提交
ConnUri–配置MySQL数据库连接: 用户名:密码@tcp(IP:port)/数据库名
2.添加目标库
目标库列表–>配置ToServerKey、Plugin、ConnUri–>点击Check验证–>提交
ToServerKey : 全局唯一值,在添加目标库的时候必须唯一,在数据表设置同步的时候,需要用到这个
Plugin选择ClickHouse
ConnUri配置ClickHouse连接:tcp://ip:port?username=&password=&compress=true
3. 数据同步配置
3.1 从数据源列表里的 Setting 按钮 进入配置数据表同步的界面
3.2 选择要同步的数据库
3.3 绑定表和通道的关系
3.4 选择数据表及配置同步
添加成功后任务列表会多一条记录
3.5 初始化同步全量数据
4. 同步注意事项
4.1 确保有足够权限
如果设置选择自动创建数据库/表,请确保clickhouse连接用户有足够权限。
建议手动创建数据库、表
Bifrost日志路径:
/``bifrost_v1.8.8-release_Linux-amd64-bin/logs
4.2 确保数据源出于连接状态
5. 常见问题
5.1 全量同步没有问题,但insert,update等增量没过去
检查数据源是不是 running 状态,重新启动一下数据源
检查数据表绑定的通道是不是 running 状态,尝试重启通道
数据源的 Binlog 的 format 是 row 格式不?
在 MySQL 中执行 SHOW VARIABLES LIKE 'binlog_format'