实时数据同步工具:Maxwell1.29.x 教程目录

基础

  1. Maxwell1.29.x 介绍、下载

  2. Maxwell 与 Canal 对比

  3. CDC介绍、常见CDC对比

安装

MySQL

  1. Maxwell 工作原理和MySQL主从复制

  2. MySQL binlog介绍

  3. Maxwell 开启MySQL binlog、准备测试数据

  4. Maxwell教程:创建maxwell数据库、创建用户

kafka 单机安装(用于测试,可略)

  1. kafka_2.12-2.4.x-安装部署(单机)

kafka 集群安装

  1. kafka_2.12-2.4.x集群-安装部署(linux)

  2. kafka_2.12-2.4.x集群-启动、停止

  3. kafka_2.12-2.4.x集群-编写集群启动脚本、停止脚本

Maxwell 安装

  1. Maxwell1.29.x 安装部署

测试

  1. Maxwell1.29.x 启动,监控数据改变、打印到控制台

  2. Maxwell1.29.x 增删改数据,输出数据格式

采集数据发送到 kafka

  1. Maxwell1.29.x type事件类型(bootstrap-start、bootstrap-complete、bootstrap-insert、insert、update、delete)

增量同步

  1. Maxwell1.29.x 增量同步数据发送到kafka - 配置、启动(kafka单机模式)

全量同步

  1. Maxwell1.29.x 全量同步数据发送到kafka

常见错误

  1. Maxwell1.29.x 配置成发送数据给kafka,启动报错Error while fetching metadata with correlation id

  2. Maxwell1.29.x 新增binlog数据库后,maxwell报错退出

测试

Maxwell1.29.x 发送数据到kafka - 测试

其他

  1. Maxwell1.29.x 配置日志输出

  2. Maxwell1.29.x 过滤:过滤采集指定数据库、表


原文出处:/show_1IX3UALAyqBX.html