日志管理
日志
- 事务日志 transaction log
- 错误日志 error log
- 通用日志 general log
- 慢查询日志 slow query log
- 二进制日志 binary log
- 中继日志 reley log
事务日志:transaction log
- 事务型存储引擎自行管理和使用,建议和数据文件分开存放 redo log undo log
- Innodb事务日志相关配置: show variables like ‘%innodb\_log%’; innodb\_log\_block\_size 512 innodb\_log\_file\_size 5242880 每个日志文件大小,默认大小是5M innodb\_log\_files\_in\_group 2 日志组成员个数 innodb\_log\_group\_home\_dir ./ 事务文件路径,默认是存放在/var/lib/mysql目录下 innodb\_flush\_log\_at\_trx\_commit 默认为1
- innodb\_flush\_log\_at\_trx\_commit
- 说明:设置为1,同时sync\_binlog = 1表示最高级别的容错 innodb\_use\_global\_flush\_log\_at\_trx\_commit的值确定是否可以使用SET语句重置此变量
- 1默认情况下,日志缓冲区将写入日志文件,并在每次事务后执行刷新到磁盘。这是完全遵守ACID特性(控制日志什么时候写入磁盘,事务提交,立即写磁盘)
- 0提交时没有任何操作; 而是每秒执行一次日志缓冲区写入和刷新。 这样可以提供更好的性能,但服务器崩溃可以清除最后一秒的事务(事务提交时,并不会把日志缓冲区写入到磁盘中,如果1秒到了(每秒会自动监测)把日志缓冲区写入到磁盘)
- 2每次提交后都会写入日志缓冲区,但每秒都会进行一次刷新。 性能比0略好一些,但操作系统或停电可能导致最后一秒的交易丢失(只要提交就会写入到缓冲区,并不会写入到磁盘,定力每秒都会写入磁盘,优势会提升10倍的性能,但停电会丢失最后一秒数据,如果能忍受一秒数据丢失,可以考虑开启此项,可提高磁盘效率)
- 3模拟MariaDB 5.5组提交(每组提交3个同步),此项MariaDB 10.0支持
事务日志优化

数据库的内存》数据库的缓存》操作系统的缓存》磁盘
错误日志
- 错误日志 mysqld启动和关闭过程中输出的事件信息 mysqld运行中产生的错误信息 event scheduler运行一个event时产生的日志信息 在主从复制架构中的从服务器上启动从服务器线程时产生的信息
- 错误日志相关配置 SHOW GLOBAL VARIABLES LIKE ‘log\_error’ 错误文件路径 log\_error=/PATH/TO/LOG\_ERROR\_FILE 是否记录警告信息至错误日志文件 log\_warnings=1|0 默认值1
通用日志
- 通用日志:记录对数据库的通用操作,包括错误的SQL语句 文件:file,默认值 表:table
- 通用日志相关设置 general\_log=ON|OFF general\_log\_file=HOSTNAME.log log\_output=TABLE|FILE|NONE #表|文件|不输出
例
慢查询日志
- 慢查询日志:记录执行查询时长超出指定时长的操作 slow\_query\_log=ON|OFF 开启或关闭慢查询 long\_query\_time=N 慢查询的阀值,单位秒 slow\_query\_log\_file=HOSTNAME-slow.log 慢查询日志文件 log\_slow\_filter = admin,filesort,filesort\_on\_disk,full\_join,full\_scan,query\_cache,query\_cache\_miss,tmp\_table,tmp\_table\_on\_disk 上述查询类型且查询时长超过long\_query\_time,则记录日志 log\_queries\_not\_using\_indexes=ON 不使用索引或使用全索引扫描,不论是否达到慢查询阀值的语句是否记录日志,默认OFF,即不记录 log\_slow\_rate\_limit = 1 多少次查询才记录,mariadb特有 log\_slow\_verbosity= Query\_plan,explain 记录内容 log\_slow\_queries = OFF 同slow\_query\_log 新版已废弃
二进制日志
- 二进制日志 记录导致数据改变或潜在导致数据改变的SQL语句 记录已提交的日志不依赖于存储引擎类型 功能:通过“重放”日志文件中的事件来生成数据副本
- 中继日志:relay log 主从复制架构中,从服务器用于保存从主服务器的二进制日志中读取的事件
对数据库进行操作时,整个事务完成后,在写入到进二进制日志中,最后写入到磁盘中file .idb
二进制日志记录了操作数据库中的过程,简单来说就是事件
二进制还原,需要有数据库完全的备份,单有一个二进制是没有意义的
二进制日志记录格式
- 二进制日志记录三种格式 基于“语句”记录:statement,记录语句,默认模式 基于“行”记录:row,记录数据,日志量较大(数据无价,定期清理) 混合模式:mixed, 让系统自行判定该基于哪种方式进行
- 格式配置
- 二进制日志文件的构成 有两类文件 日志文件:mysql|mariadb-bin.文件名后缀,二进制格式 如: mariadb-bin.000001 索引文件:mysql|mariadb-bin.index,文本格式
二进制日志相关的服务器变量:
- sql\_log\_bin=ON|OFF:是否记录二进制日志,默认ON
- log\_bin=/PATH/BIN\_LOG\_FILE:指定文件位置;默认OFF,表示不启用二进制日志功能,上述两项都开启才能生效
- binlog\_format=STATEMENT|ROW|MIXED:二进制日志记录的格式,默认STATEMENT
- max\_binlog\_size=1073741824:单个二进制日志文件的最大体积,到达最大值会自动滚动,默认为1G(select @@max\_binlog\_size) 说明:文件达到上限时的大小未必为指定的精确值
- sync\_binlog=1|0:设定是否启动二进制日志即时同步磁盘功能,默认0,由操作系统负责同步日志到磁盘,默认是先写到buff,在写入磁盘,速度较好,如果改为1,直接写到磁盘,这样效率会更低
- expire\_logs\_days=N:二进制日志可以自动删除的天数。 默认为0,即不自动删除
例
二进制日志相关配置
查看mariadb自行管理使用中的二进制日志文件列表,及大小
查看使用中的二进制日志文件
查看二进制文件中的指定内容
mysqlbinlog:二进制日志的客户端命令工具
命令格式:
二进制日志事件的格式:
清除指定二进制日志:
删除所有二进制日志,index文件重新记数
切换日志文件
二进制日志备份和恢复操作
小结
1、事务日志写的时候是按顺序写的,可以考虑专门的一个分区分配给事务日志使用,优势,事务日志是顺序写的,不断的追加,数据可以在磁盘中连续的追加,相当于单独的通道,而不是和别的程序共用一个通道,防止影响阻塞
2、慢查询,记录阀值,便于优化数据库
3、重启服务,会重新生成一个二进制文件
4、row记录数据,数据是压缩的,base64编码可以加-v查看详细
5、数据库一定要定期备份mysql、performance\_schema、以及使用的数据库
6、定期还原做演练,确保数据还原的完整性
转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 438803792@qq.com
Loading...
keepalived