0%

Docker概念

    Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从 Apache2.0 协议开源。

Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。

    容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app),更重要的是容器性能开销极低。

Docker 包括三个基本概念:

  • 镜像(Image):Docker 镜像(Image),就相当于是一个 root 文件系统。比如官方镜像 ubuntu:16.04 就包含了完整的一套 Ubuntu16.04 最小系统的 root 文件系统。
  • 容器(Container):镜像(Image)和容器(Container)的关系,就像是面向对象程序设计中的类和实例一样,镜像是静态的定义,容器是镜像运行时的实体。容器可以被创建、启动、停止、删除、暂停等。
  • 仓库(Repository):仓库可看成一个代码控制中心,用来保存镜像。

Docker 使用客户端-服务器 (C/S) 架构模式,使用远程API来管理和创建Docker容器。

Docker 容器通过 Docker 镜像来创建。

容器与镜像的关系类似于面向对象编程中的对象与类。

1. 新增数据源

数据源–>配置Name,ConnUri–>点击Check验证–>提交

ConnUri–配置MySQL数据库连接: 用户名:密码@tcp(IP:port)/数据库名

2.添加目标库

目标库列表–>配置ToServerKey、Plugin、ConnUri–>点击Check验证–>提交

ToServerKey : 全局唯一值,在添加目标库的时候必须唯一,在数据表设置同步的时候,需要用到这个

Plugin选择ClickHouse

ConnUri配置ClickHouse连接:tcp://ip:port?username=&password=&compress=true

3. 数据同步配置

3.1 从数据源列表里的 Setting 按钮 进入配置数据表同步的界面

3.2 选择要同步的数据库

3.3 绑定表和通道的关系

3.4 选择数据表及配置同步

添加成功后任务列表会多一条记录

3.5 初始化同步全量数据

4. 同步注意事项

4.1 确保有足够权限

  • 如果设置选择自动创建数据库/表,请确保clickhouse连接用户有足够权限。

  • 建议手动创建数据库、表

  • Bifrost日志路径:/``bifrost_v1.8.8-release_Linux-amd64-bin/logs

4.2 确保数据源出于连接状态

5. 常见问题

5.1 全量同步没有问题,但insert,update等增量没过去

  • 检查数据源是不是 running 状态,重新启动一下数据源

  • 检查数据表绑定的通道是不是 running 状态,尝试重启通道

  • 数据源的 Binlog 的 format 是 row 格式不?

在 MySQL 中执行 SHOW VARIABLES LIKE 'binlog_format'

官方文档:https://wiki.xbifrost.com/

下载安装包

下载地址: https://github.com/brokercap/Bifrost/releases(选择最新release版本)

目前最新release版本为1.8.8

开始安装(Linux)

  1. 解压
1
tar -zxvf  bifrost_v1.8.8-release_Linux-amd64-bin.tar.gz
  1. 启动
1
./bin/Bifrost-server start

访问地址

https://127.0.0.1:21036

  • 端口,默认21036

  • 用户名/密码是在 etc/Bifrost.ini 配置文件中配置的,

    1. 默认用户名 Bifrost

    2. 默认密码 Bifrost123

配置文件路径

/``bifrost_v1.8.8-release_Linux-amd64-bin/etc``/Bifrost.ini

日志路径

/``bifrost_v1.8.8-release_Linux-amd64-bin/logs

ClickHouse客户端工具

安装包

下载地址: https://dbeaver.io/download/

Windows安装

双击安装包exe、下一步、下一步即可,建议安装在非系统盘。

连接ClickHouse

  1. 启动DBeaver

  2. 创建新连接

  3. 选择clickhouse数据库

  4. 填写数据库连接信息

  5. 测试连接,提示未安装驱动

有外网可以直接点击下载

没有外网,可以手动添加驱动

  1. 测试连接