一、开启数据库服务
1.1、检查Binlog日志是否开启
show variables like 'log_bin'
注意：如果Value=OFF，则需要开启Binlog日志，如果为ON时，则已开启。
1.2、开启Binlog日志
修改mysql的配置文件my.ini
注意：如果此路径下没有my.ini文件，则去C:ProgramDataMySQLMySQL Server 8.0路径下查找
server-id=1 # log-bin log-bin = mysql-bin # log-bin = C:ProgramDataMySQLMySQL Server 5.7Datalogbin_log binlog_format = ROW # binlog-do-db = canal-demo
- server-id：配置MySQL replaction需要定义，不要和canal的slaveId重复
- log-bin： binlog日志文件名称
- binlog_format：binlog日志数据保存格式
- binlog-do-db：指令同步的数据库，如果不指定则同步所有的数据库
重启MySQL服务：
- 关闭：net stop mysql57
- 启动：net start mysql57
1.3、常用Binlog日志查询
-- 查询Binlog是否开启 SHOW VARIABLES LIKE 'log_bin'; -- 查看Binlog日志文件列表 SHOW BINARY LOGS; -- 查看当前正在写入的binlog文件 SHOW MASTER STATUS;
二、配置Canal
2.1 修改Canal配置文件：canal.properties
文件路径：canal.deployer-1.1.7confcanal.properties
canal.port = 11111 # tcp, kafka, rocketMQ, rabbitMQ, pulsarMQ canal.serverMode = tcp canal.destinations = example
- canal.port：cannal的端口号，默认是11111
- canal.serverMode：服务模式，tcp表示输入客户端，xxMQ输出到各种类型的消息中间件
- canal.destinations：canal可以收集多个MySQL数据库数据，每个MySQL数据库都有独立的配置文件控制。
具体配置规则：
conf/目录下，使用文件夹放置，文件夹名代表一个MySQL实例。
canal.destinations用于配置需要监控数据的数据库。如果是多个用逗号隔开(“,”)，例如：canal.destinations = example, example1, example2
2.2 修改MySQL实例配置文件：instance.properties
文件路径：canal.deployer-1.1.7confexampleinstance.properties
注意：因为MySQL实例配置文件可以有很多个，所以具体情况要看canal配置文件中的配置
# canal.instance.mysql.slaveId=0 canal.instance.master.address=127.0.0.1:3306 canal.instance.dbUsername=root canal.instance.dbPassword=root
- canal.instance.mysql.slaveId：使用canal从阶段ID，v1.0.26版本后会自动生成slaveId，所以可以不用配置
- canal.instance.master.address：数据库的IP和端口
- canal.instance.dbUsername：MySQL账号
- canal.instance.dbPassword：MySQL密码
2.3 启动canal
文件路径：canal.deployer-1.1.7bin
三、SpringBoot集成Canal
3.1 加载POM
top.javatoolcanal-spring-boot-starter1.2.1-RELEASE
3.2 修改配置文件
在application.yml文件中增加以下配置
canal:
server: 127.0.0.1:11111 #canal 默认端口11111
destination: example
logging: # 设置日志级别，否则会一致打印监听
level:
root: info
top:
javatool:
canal:
client:
client:
AbstractCanalClient: error
3.3 创建实例对象
package com.ming.domain;
import lombok.AllArgsConstructor;
import lombok.Builder;
import lombok.Data;
import lombok.NoArgsConstructor;
import java.io.Serializable;
@Data
@Builder
@NoArgsConstructor
@AllArgsConstructor
public class User implements Serializable {
private Long id;
private String name;
private String phone;
}
3.4 编写拦截器
package com.ming.handler;
import com.ming.domain.User;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;
import top.javatool.canal.client.handler.EntryHandler;
import top.javatool.canal.client.annotation.CanalTable;
@Slf4j
@CanalTable("user") // 数据库中的表名
@Component
public class UserCanalHandler implements EntryHandler {
@Override
public void insert(User user) {
log.info("insert message {}", user);
}
@Override
public void update(User before, User after) {
log.info("update before {} ", before);
log.info("update after {}", after);
}
@Override
public void delete(User user) {
log.info("delete {}", user);
}
}
四、Canal详解
4.1、Binlog的分类
| 分类 | 介绍 | 优点 | 缺点 |
|---|---|---|---|
| STATEMENT | 语句级别，保存的是对应的SQL语句，可能造成数据的不一致性，比如更新时间等 | 节省空间 | 可能造成数据的不一致性 |
| ROW | 行级，记录变化的数据 | 数据能够保存绝对一致 | 占用空间大 |
| MIXED | 兼顾STATEMENT和ROW的优点，很好，基本不用 | 节省空间，兼顾数据一致性 | 在智能转换的过程中，可能会出现意想不到的BUG |
综上所述：如果想要对MySQL做数据分析的话，建议使用ROW模式
4.2、Canal的执行原理
- Canal将自己伪装成MySQL slave（MySQL的从库），向MySQL master（MySQL的主库）发送dump协议。
- MySQL master（MySQL的主库）收到dump协议，开始推送binary log给slave（即：canal）。
- Canal接收并解析Binlog日志，得到变更的数据，执行后续逻辑。
4.3、Canal的运用场景
- 数据库同步：同步数据到Redis等存储介质。
- 数据库实时监控：监控MySQL的更新操作，对于敏感信息可以及时通知相关人员。
- 数据分析和挖掘：将增量数据投递给Kafka等消息队列中，为数据分析和挖掘提供数据源。
- 数据库备份：将MySQL主库上数据增量日志复制到备库上，实现数据库备份。
- 数据集成：集成多个MySQL数据，为数据处理提供更加有效的解决方案。
- 数据库迁移：协助MySQL数据库的版本升级及数据迁移任务。
4.4、面试题
4.4.1 Canal是什么？有哪些特性
Canal是阿里巴巴开源的一款基于Netty实现的分布式、高性能、可靠的消息队列。在实现数据同步和数据分发场景下有着广泛的应用。
特性：
- 支持MySQL、Oracle等数据库的日志解析和订阅
- 支持多种数据输出方式，如：Kafka、RocketMQ、ActiveMQ等
- 支持数据过滤和格式转换
- 具有低延迟、高可靠性
4.4.2 Canal的工作原理
- Canal主要是通过解析数据库的Binlog日志来获取数据库的增、删、改等操作，然后将变更事件发送给下游的消费者。
- Canal的核心组件包括Client和Server两部分。
- Client负责连接数据库，并启动日志解析工作，将解析出来的数据发送给Server。
- Server负责接收Client发送的数据，并进行数据的过滤和分发。
- Canal还支持多种数据输出器，如：Kafka、RocketMQ、ActiveMQ等，可以将解析出来的数据发送给不同的消息队列当中。
4.4.3 Canal的优缺点
- 优点：高性能、分布式、支持数据过滤和转换，跨数据库类型，比如MySQL、Oracle。
- 缺点：使用难度较大、对数据库日志产生一定影响，不支持数据回溯（即：无法获取历史数据）
4.4.4 Canal应用场景
- Canal主要用于数据同步和数据分发场景。
- 例如：数据备份、数据同步、数据实时分析、在线数据迁移
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持IT俱乐部。
