所有文章 标签 分类 关于 友链 视频 阅读 工具

XtraBackup使用

不忘初心 avatar不忘初心  收录于  类别 DB MySQL
     约 6906 字  预计阅读 14 分钟    次阅读     条评论  

XtraBackup介绍

Percona XtraBackup是一款基于MySQL的服务器的开源热备份实用程序，在备份过程中不会锁定数据库。它可以备份来自MySQL5.1，5.5，5.6和5.7服务器上的InnoDB，XtraDB和MyISAM表的数据，以及带有XtraDB的Percona服务器。

Percona XtraBackup为所有版本的Percona Server，MySQL和MariaDB进行MySQL热备份。它执行流，压缩和增量MySQL备份。

功能：

  • 在不暂停数据库的情况下创建热的InnoDB备份
  • 进行MySQL的增量备份
  • 将压缩的MySQL备份传输到另一台服务器
  • 在MySQL服务器之间移动表格
  • 轻松创建新的MySQL复制从站
  • 在不增加服务器负载的情况下备份MySQL

特点：

  • 备份过程快速、可靠
  • 备份过程不会打断正在执行的事务
  • 能够基于压缩等功能节约磁盘空间和流量
  • 自动实现备份检验
  • 还原速度快

下载地址： https://www.percona.com/downloads/

官方文档：https://www.percona.com/doc/percona-xtrabackup/LATEST/index.html#user-s-manual

参数说明：https://www.percona.com/doc/percona-xtrabackup/LATEST/xtrabackup_bin/xbk_option_reference.html

Xtrabackup备份原理

img

  1. innobackupex启动后，会先fork一个进程，用于启动xtrabackup，然后等待xtrabackup备份ibd数据文件；
  2. xtrabackup在备份innoDB数据是，有2种线程：redo拷贝线程和ibd数据拷贝线程。xtrabackup进程开始执行后，会启动一个redo拷贝的线程，用于从最新的checkpoint点开始顺序拷贝redo.log；再启动ibd数据拷贝线程，进行拷贝ibd数据。这里是先启动redo拷贝线程的。在此阶段，innobackupex进行处于等待状态（等待文件被创建）
  3. xtrabackup拷贝完成ibd数据文件后，会通知innobackupex（通过创建文件），同时xtrabackup进入等待状态（redo线程依旧在拷贝redo.log）
  4. innobackupex收到xtrabackup通知后哦，执行FLUSH TABLES WITH READ LOCK（FTWRL），取得一致性位点，然后开始备份非InnoDB文件（如frm、MYD、MYI、CSV、opt、par等格式的文件），在拷贝非InnoDB文件的过程当中，数据库处于全局只读状态。
  5. 当innobackup拷贝完所有的非InnoDB文件后，会通知xtrabackup，通知完成后，进入等待状态；
  6. xtrabackup收到innobackupex备份完成的通知后，会停止redo拷贝线程，然后通知innobackupex，redo.log文件拷贝完成；
  7. innobackupex收到redo.log备份完成后，就进行解锁操作，执行：UNLOCK TABLES；
  8. 最后innbackupex和xtrabackup进程各自释放资源，写备份元数据信息等，innobackupex等xtrabackup子进程结束后退出。

XtraBackup安装部署

bash

wget https://downloads.percona.com/downloads/Percona-XtraBackup-2.4/Percona-XtraBackup-2.4.22/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.22-1.el7.x86_64.rpm
yum install percona-xtrabackup-24-2.4.22-1.el7.x86_64.rpm

image-20210618100640329

image-20210618100535703

bash

wget https://downloads.percona.com/downloads/Percona-XtraBackup-2.4/Percona-XtraBackup-2.4.22/binary/tarball/percona-xtrabackup-2.4.22-Linux-x86_64.glibc2.12.tar.gz

bash

tar -zxf percona-xtrabackup-2.4.22-Linux-x86_64.glibc2.12.tar.gz
cd percona-xtrabackup-2.4.22-Linux-x86_64.glibc2.12/
cp bin/innobackupex /usr/local/bin/
cp bin/xtrabackup /usr/local/bin

Xtrabackup中主要包含两个工具：

  • xtrabackup只能备份InnoDB和XtraDB 两种数据表
  • innobackupex则封装了xtrabackup,同时可以备份MyISAM数据表

常用选项: –host 指定主机 –user 指定用户名 –password 指定密码 –port 指定端口 –databases 指定数据库 –incremental 创建增量备份 –incremental-basedir 指定包含完全备份的目录 –incremental-dir 指定包含增量备份的目录 –apply-log 对备份进行预处理操作。一般情况下，在备份完成后，数据尚且不能用于恢复操作，因为备份的数据中可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务。因此，此时数据文件仍处理不一致状态。“准备”的主要作用正是通过回滚未提交的事务及同步已经提交的事务至数据文件也使得数据文件处于一致性状态。 –redo-only 不回滚未提交事务 –copy-back 恢复备份目录

Innobackupex完整备份后生成了几个重要的文件：

  • xtrabackup_binlog_info：记录当前最新的LOG Position
  • xtrabackup_binlog_pos_innodb：innodb log postion
  • xtrabackup_checkpoints：存放备份的起始位置beginlsn和结束位置endlsn，增量备份需要这个lsn【增量备份可以在这里面看from和to两个值的变化】

注意：备份时需启动MySQL，恢复时需关闭MySQL，清空mysql数据目录且不能重新初始化，恢复数据后应该立即进行一次完全备份

xtrabackup全量备份与恢复

参考：The innobackupex Option Reference

说明：

–compress：该选项表示压缩innodb数据文件的备份。

–compress-threads：该选项表示并行压缩worker线程的数量。

–compress-chunk-size：该选项表示每个压缩线程worker buffer的大小，单位是字节，默认是64K。

–encrypt：该选项表示通过ENCRYPTION_ALGORITHM的算法加密innodb数据文件的备份，目前支持的算法有ASE128,AES192,AES256。

–encrypt-threads：该选项表示并行加密的worker线程数量。

–encrypt-chunk-size：该选项表示每个加密线程worker buffer的大小，单位是字节，默认是64K。

–encrypt-key：该选项使用合适长度加密key，因为会记录到命令行，所以不推荐使用。

–encryption-key-file：该选项表示文件必须是一个简单二进制或者文本文件，加密key可通过以下命令行命令生成：openssl rand -base64 24。

–include：该选项表示使用正则表达式匹配表的名字[db.tb]，要求为其指定匹配要备份的表的完整名称，即databasename.tablename。

–user：该选项表示备份账号。

–password：该选项表示备份的密码。

–port：该选项表示备份数据库的端口。

–host：该选项表示备份数据库的地址。

–databases：该选项接受的参数为数据名，如果要指定多个数据库，彼此间需要以空格隔开；如：”xtra_test dba_test”，同时，在指定某数据库时，也可以只指定其中的某张表。如：”mydatabase.mytable”。该选项对innodb引擎表无效，还是会备份所有innodb表。此外，此选项也可以接受一个文件为参数，文件中每一行为一个要备份的对象。

–tables-file：该选项表示指定含有表列表的文件，格式为database.table，该选项直接传给–tables-file。

–socket：该选项表示mysql.sock所在位置，以便备份进程登录mysql。

–no-timestamp：该选项可以表示不要创建一个时间戳目录来存储备份，指定到自己想要的备份文件夹。

–ibbackup：该选项指定了使用哪个xtrabackup二进制程序。IBBACKUP-BINARY是运行percona xtrabackup的命令。这个选项适用于xtrbackup二进制不在你是搜索和工作目录，如果指定了该选项,innoabackupex自动决定用的二进制程序。

–slave-info：该选项表示对slave进行备份的时候使用，打印出master的名字和binlog pos，同样将这些信息以change master的命令写入xtrabackup_slave_info文件。可以通过基于这份备份启动一个从库。

–safe-slave-backup：该选项表示为保证一致性复制状态，这个选项停止SQL线程并且等到show status中的slave_open_temp_tables为0的时候开始备份，如果没有打开临时表，bakcup会立刻开始，否则SQL线程启动或者关闭知道没有打开的临时表。如果slave_open_temp_tables在–safe-slave-backup-timeount（默认300秒）秒之后不为0，从库sql线程会在备份完成的时候重启。

–rsync：该选项表示通过rsync工具优化本地传输，当指定这个选项，innobackupex使用rsync拷贝非Innodb文件而替换cp，当有很多DB和表的时候会快很多，不能–stream一起使用。

–kill-long-queries-timeout：该选项表示从开始执行FLUSH TABLES WITH READ LOCK到kill掉阻塞它的这些查询之间等待的秒数。默认值为0，不会kill任何查询，使用这个选项xtrabackup需要有Process和super权限。

–kill-long-query-type：该选项表示kill的类型，默认是all，可选select。

–ftwrl-wait-threshold：该选项表示检测到长查询，单位是秒，表示长查询的阈值。

–ftwrl-wait-query-type：该选项表示获得全局锁之前允许那种查询完成，默认是ALL，可选update。

–galera-info：该选项表示生成了包含创建备份时候本地节点状态的文件xtrabackup_galera_info文件，该选项只适用于备份PXC。

–stream：该选项表示流式备份的格式，backup完成之后以指定格式到STDOUT，目前只支持tar和xbstream。

–defaults-file：该选项指定了从哪个文件读取MySQL配置，必须放在命令行第一个选项的位置。

–defaults-extra-file：该选项指定了在标准defaults-fi之前从哪个额外的文件读取MySQL配置，必须在命令行的第一个选项的位置。一般用于存备份用户的用户名和密码的配置文件。

–defaults-group：该选项表示从配置文件读取的组，innobakcupex多个实例部署时使用。

–no-lock：该选项表示关闭FTWRL的表锁，只有在所有表都是Innodb表并且不关心backup的binlog pos点，如果有任何DDL语句正在执行或者非InnoDB正在更新时（包括mysql库下的表），都不应该使用这个选项，后果是导致备份数据不一致，如果考虑备份因为获得锁失败，可以考虑–safe-slave-backup立刻停止复制线程。

-t, –tmpdir：该选项表示指定–stream的时候，指定临时文件存在哪里，在streaming和拷贝到远程server之前，事务日志首先存在临时文件里。在 使用参数stream=tar备份的时候，你的xtrabackup_logfile可能会临时放在/tmp目录下，如果你备份的时候并发写入较大的话 xtrabackup_logfile可能会很大(5G+)，很可能会撑满你的/tmp目录，可以通过参数–tmpdir指定目录来解决这个问题。

–history：该选项表示percona server 的备份历史记录在percona_schema.xtrabackup_history表。

–incremental：该选项表示创建一个增量备份，需要指定–incremental-basedir。

–incremental-basedir：该选项表示接受了一个字符串参数指定含有full backup的目录为增量备份的base目录，与–incremental同时使用。

–incremental-dir：该选项表示增量备份的目录。

–incremental-force-scan：该选项表示创建一份增量备份时，强制扫描所有增量备份中的数据页。

–incremental-lsn：该选项表示指定增量备份的LSN，与–incremental选项一起使用。

–incremental-history-name：该选项表示存储在PERCONA_SCHEMA.xtrabackup_history基于增量备份的历史记录的名字。Percona Xtrabackup搜索历史表查找最近（innodb_to_lsn）成功备份并且将to_lsn值作为增量备份启动出事lsn.与innobackupex –incremental-history-uuid互斥。如果没有检测到有效的lsn，xtrabackup会返回error。

–incremental-history-uuid：该选项表示存储在percona_schema.xtrabackup_history基于增量备份的特定历史记录的UUID。

–close-files：该选项表示关闭不再访问的文件句柄，当xtrabackup打开表空间通常并不关闭文件句柄目的是正确的处理DDL操作。如果表空间数量巨大，这是一种可以关闭不再访问的文件句柄的方法。使用该选项有风险，会有产生不一致备份的可能。

–compact：该选项表示创建一份没有辅助索引的紧凑的备份。

–throttle：该选项表示每秒IO操作的次数，只作用于bakcup阶段有效。–apply-log和–copy-back不生效不要一起用。

bash

innobackupex \
--defaults-file=/etc/my.cnf \
--user=root \
--password=123456 \
--socket=/data/mysql/mysql.sock \
/data/backup/

注意：--defaults-file必须放置命令行的第一个位置，不然报以下错误

xtrabackup: Error: --defaults-file must be specified first on the command line

bash

innobackupex --apply-log /data/backup/2021-06-18_16-45-00/

利用 --apply-log的作用是通过回滚未提交的事务及同步已经提交的事务至数据文件处于一致性状态；把已提交的事务合并到ibdata文件

关闭数据库并备份原数据目录

bash

systemctl stop mysqld
mv /data/mysql{,bak}

创建新数据目录

bash

mkdir /data/mysql

注意：与/etc/my.cnf文件定义的datadir路径一致，不然数据库起不来

恢复数据

bash

innobackupex --defaults-file=/etc/my.cnf --user=root --copy-back /data/backup/2021-06-18_16-45-00/

授权数据目录并启动

bash

chown -R mysql.mysql /data/mysql
systemctl start mysqld

第一种

bash

innobackupex \
--defaults-file=/etc/my.cnf \
--user=root \
--password=123456 \
--host=127.0.0.1 \
--socket=/var/lib/mysql/mysql.sock \
--databases=dbname \
--stream=tar \
/data/backup/

第二种

bash

innobackupex \
--defaults-file=/etc/my.cnf \
--user=root \
--password='123456' \
--databases=dbname \
--stream=tar \
--tmpdir=/data/backup/tmp \
/data/backup/tmp |gzip > /data/backup/dbname.tar.gz

--stream：该选项表示流式备份的格式，backup完成之后以指定格式到STDOUT，目前只支持tar和xbstream。

一般情况下，在备份完成后，数据尚且不能用于恢复操作，因为备份的数据中可能会包含尚未提交的事务或者已经提交但尚未同步至数据文件中的事务。因此，此时数据文件仍处于不一致状态。

利用 --apply-log的作用是通过回滚未提交的事务及同步已经提交的事务至数据文件处于一致性状态； 把已提交的事务合并到ibdata文件。主要作用是通过回滚未提交的事务及同步已经提交的事务至数据文件也使用得数据文件处于一致性状态。

bash

innobackupex --apply-log /data/backup/2021-06-18_16-45-00/
如果执行正确，其最后输出的几行信息通常如下：

210618 16:53:19 completed OK!

在过程中，innobackupex通常还可以使用--user-memory选项来指定其可以使用的内存的大小，默认为100M.如果有足够的内存空间可用，可以多划分一些内存给prepare的过程，以提高其完成备份的速度。

关闭数据库并备份原数据目录

bash

systemctl stop mysqld
mv /data/mysql{,bak}

创建新数据目录

bash

mkdir /data/mysql

注意：与/etc/my.cnf文件定义的datadir路径一致，不然数据库起不来

恢复数据

bash

innobackupex --defaults-file=/etc/my.cnf --user=root --copy-back /data/backup/2021-06-18_16-45-00/

执行上面的命令需要保证数据目录是空的，否则会失败，因为目录里有binlog日志，要么移走，要么就用手动复制需要的文件。所以说日志不要和数据放在一起！

**注意：**innobackupex不能通过命令恢复指定的数据库，只能在恢复时停止数据库，然后将当前的datadir目录重新命名，然后新建一个数据目录(必须是/etc/my.cnf文件中指定的datadir路径和名称)；最后数据恢复至新建的datadir中后，再将旧的datadir目录下的其他数据库和文件拷贝至新建的datadir目录下，然后在启动数据库(不建议这么操作，数据量大时建议全备后然后全库恢复，保证数据的一致)

数据目录授权

bash

chown –R mysql. /data/mysql
systemctl start mysqld
更新于 2024-09-25  a9a238b
 XtraBackup
 | 主页