MySQL中mydumper工具怎么用

数据库   2024年03月29日 22:48  

这篇文章给大家分享的是有关MySQL中mydumper工具怎么用的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。

一 前言mydumper 具有如下特性1 支持多线程导出数据,速度比mysqldump快。2 支持一致性备份,使用FTWRL(FLUSH TABLES WITH READ LOCK)会阻塞DML语句,保证备份数据的一致性。3 支持将导出文件压缩,节约空间。4 支持多线程恢复。5 支持以守护进程模式工作,定时快照和连续二进制日志6 支持按照指定大小将备份文件切割。7 数据与建表语句分离。二 原理参考一张图 介绍mydumper的工作原理mydumper的主要工作步骤1 主线程 FLUSH TABLES WITH READ LOCK, 施加全局只读锁,以阻止DML语句写入,保证数据的一致性2 读取当前时间点的二进制日志文件名和日志写入的位置并记录在metadata文件中,以供即使点恢复使用3 START TRANSACTION WITH CONSISTENT SNAPSHOT; 开启读一致事务4 启用N个(线程数可以指定,默认是4)dump线程导出表和表结构5 备份非事务类型的表6 主线程 UNLOCK TABLES,备份完成非事务类型的表之后,释放全局只读锁7 dump InnoDB tables, 基于事物导出InnoDB表8 事物结束三 安装使用3.1 安装mydumper 基于c语言编写,需要编译安装,因此需要安装编译工具。

yum install glib2-devel -devel zlib-devel pcre-devel zlib gcc-c++ gcc cmake -y

wget https://launchpadlibrarian.net/225370879/-0.9.1.tar.gz

tar xf mydumper-0.9.1.tar.gz

cd mydumper-0.9.1/

cmake .

make && make install

一般会遇到找不到 mysql-libraries 的问题,可以参考stackoverflow的回答,如果再解决不了,则可能是自己制定的MySQL安装目录的问题,比如我自己的安装目录是/opt/mysql/

则需要做一个软连接

ln-s /opt/mysql/lib/libperconaserverclient.so /usr/lib64/libperconaserverclient.so

3.2 参数说明mydumper 的常用参数

-B, --database 要导出的dbname

-T, --tables-list 需要导出的表名,导出多个表需要逗号分隔,t1[,t2,t3 ....]

-o, --outputdir 导出数据文件存放的目录,mydumper会自动创建

-s, --statement-size 生成插入语句的字节数, 默认1000000字节

-r, --rows Try to split tables into chunks of this many rows. This option turns off --chunk-filesize

-F, --chunk-filesize 切割表文件的大小,默认单位是 MB ,如果表大于

-c, --compress 压缩导出的文件

-e, --build-empty-files 即使是空表也为表创建文件

-x, --regex 使用正则表达式匹配 db.table

-i, --ignore-engines 忽略的存储引擎,多个值使用逗号分隔

-m, --no-schemas 只导出数据,不导出建库建表语句

-d, --no-data 仅仅导出建表结构,创建db的语句

-G, --triggers 导出触发器

-E, --events 导出events

-R, --routines 导出存储过程和函数

-k, --no-locks 不执行临时的只读锁,会导致备份不一致 。WARNING: This will cause inconsistent backups

--less-locking 最小化在innodb表上的锁表时间 --butai

-l, --long-query-guard 设置长时间执行的sql 的时间标准

-K, --kill-long-queries 将长时间执行的sql kill

-D, --daemon 以守护进程的方式执行

-I, --snapshot-interval 创建导出快照的时间间隔,默认是 60s ,该参数只有在守护进程执行的时候有用。

-L, --logfile 指定mydumper输出的日志文件,默认使用控制台输出。

--tz-utc SET TIME_ZONE='+00:00' at top of dump to allow dumping of TIMESTAMP data when a server has data in different time zones or data is being moved between servers with different time zones, defaults to on use --skip-tz-utc to disable.

--skip-tz-utc

--use-savepoints 使用savepoints 减少MDL 锁事件 需要 SUPER 权限

--success-on-1146 Not increment error count and Warning instead of Critical in case of table doesn

myloader使用参数

-d, --directory 备份文件的文件夹

-q, --queries-per-transaction 每次事物执行的查询数量,默认是1000

-o, --overwrite-tables 如果要恢复的表存在,则先drop掉该表,使用该参数,需要备份时候要备份表结构

-B, --database 需要还原的数据库

-e, --enable-binlog 启用还原数据的二进制日志

-h, --host The host to connect to

-u, --user Username with privileges to run the dump

-p, --password User password

-P, --port TCP/IP port to connect to

-S, --socket UNIX domain socket file to use for connection

-t, --threads 还原所使用的线程数,默认是4

-C, --compress-protocol 压缩协议

-V, --version 显示版本

-v, --verbose 输出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2

四 使用方法

#导出整个库

mydumper -u root -S /srv/my3308/run/mysql.sock -B trade_platform -o /data/trade_platform

#仅仅导出platform的ddl语句不包含数据到指定的目录 /data/platform

mydumper -u root -S /srv/my3308/run/mysql.sock -B platform -m -o /data/platform

#以压缩的方式导出的文件

mydumper -u root -S /srv/my3308/run/mysql.sock -B trade_platform -c -o /data/trade_platform

备份文件以.gz 的格式压缩

#ls

metadata trade_platform.config.sql.gz trade_platform.trade_order-schema.sql.gz

trade_platform.config-schema.sql.gz trade_platform-schema-create.sql.gz trade_platform.trade_order.sql.gz

#使用正则表达式

mydumper -u root -S /srv/my3308/run/mysql.sock --regex='^(?!(mysql|test))' -o /data/bk20170120

其中正则表达式可以是

--regex=order.* 导出所有order 开头的表

mydumper 导出的文件

[root@rac4 17:27:02 /data/platform]

# ls

metadata platform.config.sql platform.order.sql

mydumper 导出的文件 分为

metadata :包含导出时刻的binlog 位点信息 ,如果启用gtid ,则记录gtid信息。

Started dump at: 2017-01-20 17:26:53

SHOW MASTER STATUS:

Log: mysql-bin.000025

Pos: 505819083

GTID:

Finished dump at: 2017-01-20 17:27:02

db.table.sql :数据文件,insert语句

db.table-schema.sql :包含建表语句

db-schema.sql :包含建库语句

注意 0.9.1 版本去掉了 --binlogs 参数,故会少了 启用binlogs参数相关的文件。

感谢各位的阅读!关于“MySQL中mydumper工具怎么用”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!

域名注册
购买VPS主机

您或许对下面这些文章有兴趣:                    本月吐槽辛苦排行榜

看贴要回贴有N种理由!看帖不回贴的后果你懂得的!


评论内容 (*必填):
(Ctrl + Enter提交)   

部落快速搜索栏

各类专题梳理

网站导航栏

X
返回顶部