排列三炸金花
本文转载自微信公众号「微不雅时期」，作家Tom哥 排列三炸金花 。转载本文请接洽微不雅时期公众号。
环球好，我是Tom哥~
MySQL 数据库环球一定王人不目生，今天跟环球聊聊数据同步的事
对于数据同步，咱们常见的战术等于 同步双写、异步音问
1、同步双写：字面道理，同步+双写。比如老库模子重构，数据迁徙到新库，迁徙进程中，如果少见据变更，既要写到老库，也要写到新库，双方同步更新。
优点：同步机制，保证了数据的实效性。 舛误：迥殊增多同步处理逻辑，会有性能损耗2、异步音问：如果依赖方过多，咱们每每是将变更数据异构发送到MQ音问系统，感兴味的业务不错订阅音问Topic，拉取音问，然后按我方的业务逻辑处理。
合法化 优点：架构解耦，不错选择异步来作念，裁减主链路的性能损耗。如果是多个花费方，不会出现指数性能叠加 舛误：异步机制，无法安静及时性，有一定蔓延。只可达到最终一致性。上头两种决策，王人是选择硬编码，那么有莫得通用的时期决策。不热心你是什么业务，写入什么数据，对平台来讲不错概括成一张张 MySQL 表，径直同步表数据。只须使用方才着实去热心数据本体。
太平洋不错参考 MySQL 的主从同步道理，拉取 binlog，只须将内部的数据认知出来即可。
流行的中间件是阿里开源的 Canal，今天咱们就来作念个时期决策，简略本体如下：
Canal，译意为水说念/管说念/沟渠，主要用途是基于 MySQL 数据库增量日记认知，提供增量数据订阅和花费。
皇冠盘口是什么意思Canal 出身之初是为了处理多个备库与主库间数据同步，对主库变成的压力。
逐渐的，这个管说念被踵事增华，欧博娱乐代理愚弄场景也越来越多
使命道理很浅易，把我方伪装成 MySQL 的 slave，模拟 MySQL slave 的交互公约向 MySQL master 发送 dump 肯求。
皇冠客服飞机：@seo3687MySQL master 收到canal发送过来的dump肯求，启动推送binary log给canal，然后canal认知binlog 日记，再存储到不同的存储介质中，比如：MySQL、Kafka、Elastic Search、Pulsar 等
业务场景：
数据库及时备份 ES 数据索引的构建和可贵 区分式缓存(如：Redis)的同步可贵 数据异构，订阅方不错按我方的业务需求订阅花费，如：Kafka、Pulsar 等 二、装配 MySQL1、拉取 MySQL 镜像
docker pull mysql:5.7
2、检讨镜像
docker images
3、启动 MySQL 程度
docker run \ --name mysql \ -p 3306:3306 \ -e MYSQL_ROOT_PASSWORD=123456 \ -d mysql:5.7
4、检讨程度
[root@iZbp12gqydkgwid86ftoauZ mysql]# docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES e92827897538 mysql "docker-entrypoint.s…" 4 seconds ago Up 2 seconds 0.0.0.0:3306->3306/tcp, 33060/tcp mysql
5、参加 MySQL 容器
docker exec -it 167bfa3785f1 /bin/bash
防御：修改一些建立文献，可能会遭逢一些问题，如：
ag娱乐docker容器中使用vi或vim辅导bash: vi: command not found的处理环节
因为莫得装配vi剪辑器，不错试验底下敕令
apt-get update apt-get install vim
6、常用 MySQL 客户端敕令
# 登陆 mysql mysql -uroot -p111111 # 表示数据库列表 show databases; # 礼聘数据库 use mysql; # 表示整个表 show tables; # 表示表结构 describe 表名; 其他更多敕令： https://www.cnblogs.com/bluecobra/archive/2012/01/11/2318922.html三、MySQL 接洽建立
创建一个 MySQL 用户，用户名：tom ，密码：123456
create user 'tom'@'%' identified by '123456';
为用户：tom 授予整个库的读写权限
grant SELECT, REPLICATION SLAVE, REPLICATION CLIENT on *.* to 'tom'@'%' identified by '123456';
修改 MySQL 建立文献 my.cnf，位置：/etc/my.cnf
[mysqld] log-bin=mysql-bin # 开启 binlog binlog-format=ROW # 礼聘 行 形状 server_id=1 # 建立 MySQL replaction 需要界说，不要和 canal 的 slaveId 叠加
防御：需要重启MySQL容器实例，试验敕令 docker restart mysql
检讨binlog形状：
检讨binlog日记文献列表：
检讨现时正在写入的binlog文献：
下载地址：
https://github.com/alibaba/canal/releases
博彩平台游戏代金券活动
本文实验用的是最新版块 v1.1.5，主若是对不同的客户端的个性化辅助，属于生态推广。
其他更多特色，环球不错去官网检讨
在皇冠体育上，您可以参加各种体育竞猜活动，和其他博彩爱好者一起分享乐趣。澳门金沙娱乐集团app解压 tar.gz 压缩包
tar -zxvf canal.deployer-1.1.5.tar.gz
翻开建立文献 conf/example/instance.properties，修改建立如下：
## v1.0.26版块后会自动生成slaveId，是以不错无须建立 # canal.instance.mysql.slaveId=0 # 数据库地址 canal.instance.master.address=127.0.0.1:3306 # binlog日记称呼 canal.instance.master.journal.name=mysql-bin.000001 # mysql主库贯穿时肇端的binlog偏移量 canal.instance.master.position=156 # mysql主库贯穿时肇端的binlog的时辰戳 canal.instance.master.timestamp= canal.instance.master.gtid= # username/password # 在MySQL办事器授权的账号密码 canal.instance.dbUsername=root canal.instance.dbPassword=111111 # 字符集 canal.instance.connectionCharset = UTF-8 # enable druid Decrypt database password canal.instance.enableDruid=false # table regex .*\\..*暗示监听整个表 也不错写具体的表名，用，离隔 canal.instance.filter.regex=.*\\..* # mysql 数据认知表的黑名单，多个表用，离隔 canal.instance.filter.black.regex=
启动敕令
./startup.sh
由于选择的阿里云的 ECS 办事器，发现莫得装配 JAVA 环境。
Oracle 官网下载 JDK 8 的装配包
下载地址：
皇冠球盘源码https://www.oracle.com/java/technologies/downloads/#java8
然后，通过底下的敕令将装配包上传到 ECS 办事器
scp jdk-8u311-linux-x64.tar.gz root@118.31.168.234:/root/java //上传文献
装配 JDK 8 环境
文档：https://developer.aliyun.com/article/701864
五、启动 Canal参加 canal.deployer-1.1.5/bin
试验启动剧本：
./startup.sh
参加 canal.deployer-1.1.5/logs/example
如果 example.log 日记文献中，出现底下的本体，暗示启动顺利
2022-01-03 08:23:10.165 [canal-instance-scan-0] INFO c.a.otter.canal.instance.core.AbstractCanalInstance - stop CannalInstance for null-example 2022-01-03 08:23:10.177 [canal-instance-scan-0] INFO c.a.otter.canal.instance.core.AbstractCanalInstance - stop successful.... 2022-01-03 08:23:10.298 [canal-instance-scan-0] INFO c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example 2022-01-03 08:23:10.298 [canal-instance-scan-0] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^.*\..*$ 2022-01-03 08:23:10.298 [canal-instance-scan-0] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table black filter : ^mysql\.slave_.*$ 2022-01-03 08:23:10.299 [canal-instance-scan-0] INFO c.a.otter.canal.instance.core.AbstractCanalInstance - start successful....六、工程实验
创建一个 SpringBoot 工程，spring-boot-bulking-canal
引入接洽pom依赖
<dependency> <groupId>com.alibaba.otter</groupId> <artifactId>canal.client</artifactId> <version>1.1.4</version> </dependency>
编写java类，与 canal 办事端 缔造不时，拉取数据库的变更数据
// 创建贯穿 CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("127.0.0.1", 11111), "example", "", ""); try { //翻开不时 connector.connect(); //订阅整个表 connector.subscribe(".*\\..*"); //回滚到未进行ack的场所，下次fetch的时候，不错从临了一个莫得ack的场所启动拿 connector.rollback(); while (true) { Message message = connector.getWithoutAck(BATCH_SIZE); long batchId = message.getId(); printEntry(message.getEntries()); // batch id 提交 connector.ack(batchId); } } catch (Exception e) { e.printStackTrace(); } finally { connector.disconnect(); }
在 ds1 数据库下创建 MySQL 表
CREATE TABLE `person` ( `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '自增主键', `income` bigint(20) NOT NULL COMMENT '收入', `expend` bigint(20) NOT NULL COMMENT '开销', PRIMARY KEY (`id`), KEY `idx_income` (`income`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COMMENT='个东说念主出入表';
插入一札记载：
insert into person values(100,1000,1000);
Java类认知binlog，在纵脱台打印变更日记：
binlog[mysql-bin.000002:1946] , table[ds1,person] , eventType : INSERT id : 100 update=true income : 1000 update=true expend : 1000 update=true
对 id=100 记载作念修改：
update person set income=2000, expend=2000 where id=100;
纵脱台打印变更日记：
binlog[mysql-bin.000002:2252] , table[ds1,person] , eventType : UPDATE ------->; before id : 100 update=false income : 1000 update=false expend : 1000 update=false ------->; after id : 100 update=false income : 2000 update=true expend : 2000 update=true