binlog2sql 实现 MySQL 误操作的恢复

TestWhite 2018年4月24日02:38:27
评论
1981字阅读6分36秒

 

于MySQL中binlog做到类似于闪回或者生成反向操作的SQL语句来实现,是MySQL中一个非常实用的功能。

原理不难理解,基于MySQL的row格式的binlog中,记录历史的增删改SQL信息,基于此解析出来对应的SQL语句(回滚的话就是反向的SQL语句)。

在格式为binlog格式为row的日志模式下,binlog中的内容记录了数据库中曾经执行的增删改信息,都是包含了反向信息的比如执行delete from table where pk_id = 1;按照主键来删除一条记录

对应的binlog中的sql语句为:delete from table where pk_id = 1 and name = ‘xxx’ and other_column = ‘xxx’;where条件不仅仅是原始语句的Id,而且还包括中这一行所有的字段的信息的update操作也同理,不但记录了update操作,同时记录了update记录在更新之前的每一个字段的值。这样就可以利用这个日志来生成反向操作信息。 

如下是利用mysqlbinlog 工具解析出来的一个MySQL中典型的binlog日志文件的部分内容,可以清楚地看到执行过的sql语句的信息。

说到这里,对于MySQL中基于binlog的一些应用,比如复制或者数据库还原,其实就是重复执行某个数据库上的历史执行过的增删改SQL语句来实现的。

题外话:MySQL的binlog作用记录事务语句的作用上,基本上等同于SQLServer的的事务日志。但是SQL Server的事务日志正的二进制内容的,微软官方也没有提供解析的方法,而MySQL中完全可以通过mysqlbinlog 来解析出来这个日志中的内容。

如下是通过MySQL自带的mysqlbinlog工具解析出来的binlog日志文件中的信息,可以看到其中的SQL语句信息。

binlog2sql 实现 MySQL 误操作的恢复

知道了binlog中的内容,就可以基于这个binlog来实现各种实用的功能,典型的就是误删数据的还原操作,比如苏家小萝卜同学就自己用Python搞定这个解析功能。

类似功能比较知名的还有大众点评网DBA自己写的binlog2sql工具,也是久闻大名,终于有机会尝试了。

binlog2sql需要语句pip安装,所以需要先安装pip

 

pip 安装参考:

https://www.cnblogs.com/technologylife/p/5870576.html

binlog2sql 实现 MySQL 误操作的恢复

binlog2sql 实现 MySQL 误操作的恢复

binlog2sql下载以及安装:

https://github.com/danfengcao/binlog2sql

binlog2sql 实现 MySQL 误操作的恢复

完成了binlog2sql之后,就可以使用它来实现数据的还原操作了,如下模拟一个误操作的恢复

在开启了binlog,日志格式为row的测试数据下,对于测试表test_01,分别执行以下sql语句:

insert into test_01 values (1,'aaa');

insert into test_01 values (2,'bbb');

insert into test_01 values (3,'vvv');

--以下误操作,更新了全部数据

update test_01 set name = 'xxx';

通过show master logs;找到当前的binlog文件,对应的sql语句的执行就存储在当前这个binlog中,binlog2sql的目标就是这个文件

binlog2sql 实现 MySQL 误操作的恢复

参考下图,可以发现

 

执行:python binlog2sql.py -h127.0.0.1 -P3306 -uroot -p’root’ -ddb01 -t test_01 –start-file=’binlog.000021′ (更多参数以及使用方式参考下文链接),通过binlog2sql来解析当前的binlog文件,解析出来的SQL语句就是正常SQL语句的执行(insert insert insert update(3行记录))

执行:python binlog2sql.py -h127.0.0.1 -P3306 -uroot -p’root’ -ddb01 -t test_01 –start-file=’binlog.000021′ -B,通过-B参数生成反向的操作信息

加参数-B解析出来的SQL语句与上面的SQL语句刚好相反,包括顺序,也即以倒序的方式生成反向的操作

 

原始操作是insert insert insert update update update,反向的操作就是upfate update update delete delete delete,这样一来,可以根据具体的情况,截取生成的反向的sql语句,进行误操作的还原。

以上操作注意安装的binlog2sql的路径问题,如果路径不对,找不到binlog2sql.py,上述命令也就无法执行

binlog2sql 实现 MySQL 误操作的恢复

更多binlog2sql参数以及用法和限制参考官方GitHub:

https://github.com/danfengcao/binlog2sql

 

继续阅读
  • 我们QQ群
  • QQ扫一扫
  • weinxin
  • 微信公众号
  • 公众号扫一扫
  • weinxin
TestWhite
  • 本文由 发表于 2018年4月24日02:38:27
  • 请您在转载时请务必保留本文链接:https://www.playezu.com/11229.html
扩散!宝塔曝严重漏洞... 新闻资讯

扩散!宝塔曝严重漏洞…

宝塔 Linux 面板是提升运维效率的服务器管理软件,支持一键 LAMP / LNMP /集群/监控/网站/ FTP /数据库/ JAVA 等100多项服务器管理功能。  昨晚8点 宝塔发布官方...
测试数据不会造?可以用这个工具 经验总结

测试数据不会造?可以用这个工具

在测试过程中,大家应该都遇到过各种各样的数据构造问题。e.g. 构造一批通讯录、构造一批用户三要素(姓名手机号身份证)、构造一批银行卡数据…… 这时候,测试数据大多数可能是这样的: 张三,...
阿里云小店
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: