【高并发高性能高可用之海量数据MySQL实战-2】-MySQL文件结构

MySQL是通过文件系统对数据和索引进行存储的。

MySQL从物理结构上可以分为日志文件和数据索引文件。

MySQL在Linux中的数据索引文件和日志文件通常放在/var/lib/mysql目录下。

【高并发高性能高可用之海量数据MySQL实战-2】-MySQL文件结构

1.日志文件(顺序IO)

MySQL通过日志记录了数据库操作信息和错误信息。常用的日志文件包括错误日志、二进制日志、查询日志、慢查询日志和事务Redo 日志、中继日志等。

可以通过命令查看当前数据库中的日志使用信息

mysql> show variables like 'log_%';

1.错误日志(errorlog)

默认是开启的,错误日志记录了运行过程中遇到的所有严重的错误信息,以及 MySQL每次启动和关闭的详细信息。

默认的错误日志名称:hostname.err。

错误日志所记录的信息是可以通过log-error和log-warnings来定义的,其中log-err是定义是否启用错误日志的功能和错误日志的存储位置,log-warnings是定义是否将警告信息也定义至错误日志中。

#可以直接定义为文件路径,也可以为ON|OFF 
log_error=/var/log/mysqld.log 
#只能使用1|0来定义开关启动,默认是启动的 
log_warings=1

2.二进制日志(bin log)

MySQL8中默认是开启的,可以通过以下参数配置文件名:

log-bin=mysql-bin

其中mysql-bin是binlog日志文件的basename,binlog日志文件的完整名称:mysql-bin-000001.log

binlog记录了数据库所有的ddl语句和dml语句,但不包括select语句内容,语句以事件的形式保存,描述了数据的变更顺序,binlog还包括了每个更新语句的执行时间信息。如果是DDL语句,则直接记录到binlog日志,而DML语句,必须通过事务提交才能记录到binlog日志中。

binlog主要用于实现mysql主从复制、数据备份、数据恢复。

3.通用查询日志(general query log)

默认情况下通用查询日志是关闭的。

由于通用查询日志会记录用户的所有操作,其中还包含增删查改等信息,在并发操作大的环境下会产生大量的信息从而导致不必要的磁盘IO,会影响mysql的性能的。如若不是为了调试数据库的目的建议不要开启查询日志。

mysql> show global variables like 'general_log';

开启方式:

#启动开关 
general_log={ON|OFF} 

#日志文件变量,而general_log_file如果没有指定,默认名是host_name.log 
general_log_file=/PATH/TO/file 

#记录类型 
log_output={TABLE|FILE|NONE}

4.慢查询日志(slow query log)

默认是关闭的。

需要通过以下设置进行开启

#开启慢查询日志 
slow_query_log=ON 

#慢查询的阈值 
long_query_time=10 

#日志记录文件如果没有给出file_name值, 默认为主机名,后缀为-slow.log。如果给出了文件名, 但不是绝对路径名,文件则写入数据目录。
slow_query_log_file= file_name

记录执行时间超过long_query_time秒的所有查询,便于收集查询时间比较长的SQL语句

查询多少SQL超过了慢查询时间的阈值:

SHOW GLOBAL STATUS LIKE '%Slow_queries%';

2.数据文件(随机IO)

查看MySQL数据文件:

SHOW VARIABLES LIKE '%datadir%';

1.InnoDB数据文件

.ibd:使用独享表空间存储表数据和索引信息,一张表对应一个ibd文件。在mysql8中,还包含序列化字典信息 (SDI),SDI 是表和表空间对象的序列化元数据。SDI 数据的存在提供了元数据冗余,如果全局数据字典不可用,则可以从表空间文件中提取。可以使用 ibd2sdi 工具将SDI数据从ibd文件中提取出来。

ibdata文件:使用共享表空间存储表数据和索引信息,所有表共同使用一个或者多个ibdata文件。

2.MyIsam数据文件

.sdi文件:主要存放与表相关的元数据信息,主要包括表结构的定义,在InnoDB中SDI保存在表空间文件中的,其他存储引擎将SDI数据存储在为表的数据库目录中的给定表创建的.SDI文件中。

.myd文件:主要用来存储表数据信息。

.myi文件:主要用来存储表数据文件中任何索引的数据树。

3.文件类型

文件

说明

auto.cnf

包含 mysql 实例的 uuid 必须是全局唯一,在搭建集群时需要保证唯一。

如果不唯一可以删除,重启服务器会自动生成

binlog.index

bin log(二进制日志)的索引文件。

bin-log.0000x 真正的二进制文件。mysql8 中 binlog 默认开启。之前的版本中默认

关闭。

*.pem

秘钥文件,使用 ssl 方式登录 mysql 时需要使用

*.dblwr

双写缓冲区文件。

ib_buffer_pool

InnoDB引擎为了提高缓冲池的初始化效率,将 buffer pool 中的内存缓冲到文件中

ibdata1

系统表空间

ib_logfile0、ib_logfile1

redo log 重做日志。保证数据不丢失的重要文件

redo log

重做日志。保证数据不丢失的重要文件

ibtmp1

临时表空

mysql.ibd

数据字典文件

undo_001、undo_002

回滚表空间

目录

每个数据库对应一个目录。区分大小写

.ibd(InnoDB)

用户表空间文件,每个表对应一个文件。包含表中的数据、索引、元数据(表结构)

MyIsam 引擎

.sdi 元数据

.MYD表中的数据

.MYI索引文件

如果您觉得文章好看,欢迎点赞收藏加关注,一连三击呀,您的肯定是我持续输出的动力,感谢!!☺☻ 

上一篇:MySQL主从复制


下一篇:《工业控制网络安全技术与实践》一2.6.4 市政交通行业的工业控制网络