mysql

innodb结构

• 内存及文件
• Buffer Pool：缓冲池
  • 在InnoDB访问表记录和索引时会在Page页中缓存，以后使用可以减少磁盘IO操作，提升效率
  • 以Page页为单位，Page页默认大小16K，链表结构
  • page根据状态分为3类
    • free page ： 空闲page，未被使用
      • free list ：表示空闲缓冲区，管理free page
    • clean page：被使用page，数据没有被修改过
      • lru list：表示正在使用的缓冲区，管理clean page和dirty page，
        • 缓冲区以midpoint为基点，
        • 前面链表称为new列表区，存放经常访问的数据，占63%；
        • 后面的链表称为old列表区，存放使用较少数据，占37%
      • 普通LRU：末尾淘汰法，新数据从链表头部加入，释放空间时从末尾淘汰
      • 改性LRU：
        • 链表分为new和old两个部分，
        • 加入元素时并不是从表头插入，而是从中间midpoint位置插入，
        • 如果数据很快被访问，那么page就会向new列表头部移动，
        • 如果数据没有被访问，会逐步向old尾部移动，等待淘汰。
    • dirty page：脏页，被使用page，数据被修改过，页中数据和磁盘的数据产生了不一致
      • flush list：表示需要刷新到磁盘的缓冲区，管理dirty page，
        • 内部page按修改时间排序。
        • 脏页即存在于flush链表，也在LRU链表中，但是两种互不影响，
        • LRU链表负责管理page的可用性和释放，而flush链表负责管理脏页的刷盘操作
  • page页的管理：
    • 每当有新的page数据读取到buffer pool时，InnoDb引擎会判断是否有空闲页，是否足够，
      • 如果有就将free page从free list列表删除，放入到LRU列表中。
      • 没有空闲页，就会根据LRU算法淘汰LRU链表默认的页，将内存空间释放分配给新的页
• Adaptive Hash Index：自适应哈希索引
  • 用于优化对BP数据的查询
  • InnoDB存储引擎会监控对表索引的查找，
  • 如果观察到建立哈希索引可以带来速度的提升，则建立哈希索引，所以称之为自适应。
  • InnoDB存储引擎会自动根据访问的频率和模式来为某些页建立哈希索引
• Change Buffer：写缓冲区
  • 当更新一条记录时，
    • 该记录在BufferPool存在，直接在BufferPool修改，一次内存操作。
    • 如果该记录在BufferPool不存在（没有命中），
      • 会直接在ChangeBuffer进行一次内存操作，不用再去磁盘查询数据，避免一次磁盘IO。
      • 当下次查询记录时，会先进性磁盘读取， 然后再从ChangeBuffer中读取信息合并，最终载入BufferPool中
  • 写缓冲区，仅适用于非唯一普通索引页
    • 如果在索引设置唯一性，在进行修改时，InnoDB必须要做唯一性校验，因此必须查询磁盘，做一次IO操作。
    • 会直接将记录插入到BufferPool中，然后在缓冲池修改，不会在ChangeBuffer操作
  • ChangeBuffer占用BufferPool空间，默认占25%，最大允许占50%
    • 可以根据读写业务量来进行调整。参数innodb_change_buffer_max_size
• Log Buffer：日志缓冲区
  • 在DML操作时会产生Redo和Undo日志，被缓冲在日志缓冲区。
  • 日志的刷新：innodb_flush_log_at_trx_commit参数控制日志刷新行为，默认为1
    • 0：每隔1秒写日志文件和刷盘操作（写日志文件LogBuffer–>OS cache，刷盘OScache–>磁盘文件），最多丢失1秒数据
    • 1：事务提交，立刻写日志文件和刷盘，数据不丢失，但是会频繁IO操作
    • 2：事务提交，立刻写日志文件，每隔1秒钟进行刷盘操作
  • 日志缓冲区满时会自动将其刷新到磁盘，当遇到BLOB或多行更新的大事务操作时，增加日志缓冲区可以节省磁盘I/O。
    
  • 系统表空间（The System Tablespace）
    • 数据字典（InnoDB Data Dictionary）
      • InnoDB数据字典由内部系统表组成，这些表包含用于查找表、索引和表字段等对象的元数据。
      • 元数据物理上位于InnoDB系统表空间中。
      • 由于历史原因，数据字典元数据在一定程度上与InnoDB表元数据文件（.frm文件）中存储的信息重叠
    • 双写缓冲区（Doublewrite Buffer）
      • 作用：防止将脏页刷新到磁盘中，出现部分写的问题。
      • innodb的页大小默认是16K，Linux的block size是4K，
      • 刷新过程中os crash或者停电，会导致部分数据写入到磁盘中，导致数据不一致。
      • innodb现将buffer pool中的数据写入到doublewrite buffer中，再刷新到磁盘中。
      • 如果是刷盘过程中出现问题。innodb将doublewrite 中的数据刷新到数据库即可，
      • 若写到doublewrite出错，则用原始数据和redo日志恢复
      • 参考：https://www.cnblogs.com/geaozhang/p/7241744.html
    • 写缓冲区 change buffer
    • 撤销日志（Undo Logs）
    • 用户在系统表空间创建的表数据和索引数据
      • 系统表空间是一个共享的表空间因为它是被多个表共享的。
      • 该空间的数据文件通过参数innodb_data_file_path控制，默认值是ibdata1:12M:autoextend(文件名为ibdata1、12MB、自动扩展)
• 单表表空间（File-Per-Table Tablespaces）
  • 默认开启
  • 被.ibd文件代表
• 共享表空间（General Tablespaces）
  • CREATE TABLESPACE ts1 ADD DATAFILE ts1.ibd Engine=InnoDB; //创建表空间ts1
  • CREATE TABLE t1 (c1 INT PRIMARY KEY) TABLESPACE ts1; //将表添加到ts1表空间
• 临时表空间（Temporary Tablespaces）
  • session temporary tablespaces 存储的是用户创建的临时表和磁盘内部的临时表。
  • global temporary tablespace储存用户临时表的回滚段（rollback segments ）。
  • mysql服务器正常关闭或异常终止时，临时表空间将被移除，每次启动时会被重新创建。
• 撤销表空间（Undo Tablespaces）
  • 撤销表空间由一个或多个包含Undo日志文件组成
  • 撤消日志是在事务开始之前保存的被修改数据的备份，用于例外情况时回滚事务。
  • 撤消日志属于逻辑日志，根据每行记录进行记录。
  • 撤消日志存在于系统表空间、撤消表空间和临时表空间中。

日志

• mysql server层的日志
  • binlog：更新操作，用于同步
  • 通用查询日志：记录一般查询，一般不开启
  • 慢查询：通常我们开启
  • 错误日志：默认开启，连接错误啥的
• innodb
  • redo log
    • 用于在崩溃恢复期间更正不完整事务写入的数据。
    • redo log包括内存和文件两个部分，中间有操作系统的缓冲
    • 记录InnoDB中对Buffer Pool中Page修改的日志，即物理日志，区别于binLog的具体操作日志，即逻辑日志
    • 日志写入硬盘时无需doublewrite
      • 重做日志（内存和硬盘文件）按512字节存储，成为redo block
      • 如果大于 512字节会拆分成多个块存储
      • 写入硬盘时按照redo block写入，即512字节，是硬盘层面最小的写入单位，保证写入必定是原子的
  • undo log
    • 目的是发生错误时回滚，也是MVCC机制的一部分
    • 存在表空间的undo段
    • 数据的逻辑变化，当发生回滚时，反向操作，即可以恢复到原来的样子
    • 事务开启后，修改记录前，将前值记录undo日志中
      • 写undo的redo
      • 写undo
      • 修改数据页
      • 写Redo
      • redo