利用基于canal的go库来监听binlog日志_golang监听binlog

情景导入

  每当线上的DB数据发生了更新，要同步到从库需要一定的时间。此外有些如报表数据还要落地到其他存储(如缓存)中去。如果把数据落地的逻辑写在业务层，一定层度上会造成系统的耦合。
  查了资料，发现阿里有一款开源的数据同步神器canal，基于数据库增量日志解析,提供增量数据订阅&消费,不过是基于java实现的。在其文档中找到另一个Go版本的go-mysql，作用一样是监听binlog日志，接下来就普及一下该库的用法

下载安装踩的坑

  库的地址是https://github.com/siddontang/go-mysql


  看文档感觉好像直接go get一下就可以用的，然而并不是这么简单！！！该库还依赖了其他被墙下不了的包，所以你得逐个把其相关依赖的包go get下来。


  至于需要什么依赖包，需要你按照文档的demo运行一下，终端的报错信息会把相关的依赖包信息打印出来的【主要是当时忘了把相关的依赖包名记了】。


  其中一些需要被墙的包需要手动git clone一下，进入gopath的src目录：cd ~/go/src,然后创建目录：mkdir -p golang.org/x/，进入刚创建的目录：cd golang.org/x,
克隆相关的git库：git clone https://github.com/golang/sys.git和git clone https://github.com/golang/text.git


  当你把依赖全部下载好之后，如果发生直接运行文档的demo会报错:canal dump mysql err: exit status 2：,其原因是你的mysql还没开启binlog日志。解决手段如下：


（1）先进入mysql，确认binlog属性：show variables like '%log_bin%';如果 log_bin的value值为off，则未开启binlog

（2）退出mysql，去编辑my.cnf文件，如果是ubantu，就编辑 vim /etc/mysql/mysql.conf.d/mysqld.cnf,在【mysqld】配置添加

server_id       = 1
log_bin         = /var/log/mysql/mysql-bin.log 
1
2

（3）重启mysql服务

（4）进入mysql 确认binlog开启没有：show variables like '%log_bin%';

API用法

package main
import (
	"fmt"
	"github.com/siddontang/go-mysql/canal"
	"github.com/siddontang/go-mysql/mysql"
	"github.com/siddontang/go-mysql/replication"
	"os"
)


type MyEventHandler struct {
   
	canal.DummyEventHandler
}



//监听数据记录
func (h *MyEventHandler) OnRow(ev *canal.RowsEvent) error{
   
	//record := fmt.Sprintf("%s %v %v %v %s\n",e.Action,e.Rows,e.Header,e.Table,e.String())

	//库名，表名，行为，
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22