【高并发高性能高可用之海量数据MySQL实战-2】-MySQL文件结构

2021-12-19 22:59:13

MySQL是通过文件系统对数据和索引进行存储的。

MySQL从物理结构上可以分为日志文件和数据索引文件。

MySQL在Linux中的数据索引文件和日志文件通常放在/var/lib/mysql目录下。

1.日志文件（顺序IO）

MySQL通过日志记录了数据库操作信息和错误信息。常用的日志文件包括错误日志、二进制日志、查询日志、慢查询日志和事务Redo 日志、中继日志等。

可以通过命令查看当前数据库中的日志使用信息

mysql> show variables like 'log_%';

1.错误日志（errorlog）

默认是开启的，错误日志记录了运行过程中遇到的所有严重的错误信息,以及 MySQL每次启动和关闭的详细信息。

默认的错误日志名称：hostname.err。

错误日志所记录的信息是可以通过log-error和log-warnings来定义的，其中log-err是定义是否启用错误日志的功能和错误日志的存储位置，log-warnings是定义是否将警告信息也定义至错误日志中。

#可以直接定义为文件路径，也可以为ON|OFF 
log_error=/var/log/mysqld.log 
#只能使用1|0来定义开关启动，默认是启动的 
log_warings=1

2.二进制日志（bin log）

MySQL8中默认是开启的，可以通过以下参数配置文件名：

log-bin=mysql-bin

其中mysql-bin是binlog日志文件的basename，binlog日志文件的完整名称：mysql-bin-000001.log

binlog记录了数据库所有的ddl语句和dml语句，但不包括select语句内容，语句以事件的形式保存，描述了数据的变更顺序，binlog还包括了每个更新语句的执行时间信息。如果是DDL语句，则直接记录到binlog日志，而DML语句，必须通过事务提交才能记录到binlog日志中。

binlog主要用于实现mysql主从复制、数据备份、数据恢复。

3.通用查询日志（general query log）

默认情况下通用查询日志是关闭的。

由于通用查询日志会记录用户的所有操作，其中还包含增删查改等信息，在并发操作大的环境下会产生大量的信息从而导致不必要的磁盘IO，会影响mysql的性能的。如若不是为了调试数据库的目的建议不要开启查询日志。

mysql> show global variables like 'general_log';

开启方式：

#启动开关 
general_log={ON|OFF} 

#日志文件变量，而general_log_file如果没有指定，默认名是host_name.log 
general_log_file=/PATH/TO/file 

#记录类型 
log_output={TABLE|FILE|NONE}

4.慢查询日志（slow query log）

默认是关闭的。

需要通过以下设置进行开启

#开启慢查询日志 
slow_query_log=ON 

#慢查询的阈值 
long_query_time=10 

#日志记录文件如果没有给出file_name值， 默认为主机名，后缀为-slow.log。如果给出了文件名， 但不是绝对路径名，文件则写入数据目录。
slow_query_log_file= file_name

记录执行时间超过long_query_time秒的所有查询，便于收集查询时间比较长的SQL语句

查询多少SQL超过了慢查询时间的阈值：

SHOW GLOBAL STATUS LIKE '%Slow_queries%';

2.数据文件（随机IO）

查看MySQL数据文件：

SHOW VARIABLES LIKE '%datadir%';

1.InnoDB数据文件

.ibd：使用独享表空间存储表数据和索引信息，一张表对应一个ibd文件。在mysql8中，还包含序列化字典信息（SDI），SDI 是表和表空间对象的序列化元数据。SDI 数据的存在提供了元数据冗余，如果全局数据字典不可用，则可以从表空间文件中提取。可以使用 ibd2sdi 工具将SDI数据从ibd文件中提取出来。

ibdata文件：使用共享表空间存储表数据和索引信息，所有表共同使用一个或者多个ibdata文件。

2.MyIsam数据文件

.sdi文件：主要存放与表相关的元数据信息,主要包括表结构的定义，在InnoDB中SDI保存在表空间文件中的，其他存储引擎将SDI数据存储在为表的数据库目录中的给定表创建的.SDI文件中。

.myd文件：主要用来存储表数据信息。

.myi文件：主要用来存储表数据文件中任何索引的数据树。

3.文件类型

文件	说明
auto.cnf	包含 mysql 实例的 uuid 必须是全局唯一，在搭建集群时需要保证唯一。如果不唯一可以删除，重启服务器会自动生成
binlog.index	bin log（二进制日志）的索引文件。 bin-log.0000x 真正的二进制文件。mysql8 中 binlog 默认开启。之前的版本中默认关闭。
*.pem	秘钥文件，使用 ssl 方式登录 mysql 时需要使用
*.dblwr	双写缓冲区文件。
ib_buffer_pool	InnoDB引擎为了提高缓冲池的初始化效率，将 buffer pool 中的内存缓冲到文件中
ibdata1	系统表空间
ib_logfile0、ib_logfile1	redo log 重做日志。保证数据不丢失的重要文件
redo log	重做日志。保证数据不丢失的重要文件
ibtmp1	临时表空
mysql.ibd	数据字典文件
undo_001、undo_002	回滚表空间
目录	每个数据库对应一个目录。区分大小写
.ibd（InnoDB）	用户表空间文件，每个表对应一个文件。包含表中的数据、索引、元数据（表结构）
MyIsam 引擎	.sdi 元数据 .MYD表中的数据 .MYI索引文件

如果您觉得文章好看，欢迎点赞收藏加关注，一连三击呀，您的肯定是我持续输出的动力，感谢！！☺☻

码农公寓