您现在的位置是：网站首页> 编程资料编程资料

MySQL8.0 DDL原子性特性及实现原理_Mysql_

2023-05-27 353人已围观

简介 MySQL8.0 DDL原子性特性及实现原理_Mysql_

1. DDL原子性概述

8.0之前并没有统一的数据字典dd，server层和引擎层各有一套元数据，sever层的元数据包括(.frm,.opt,.par,.trg等)，用于存储表定义，分区表定义，触发器定义等信息；innodb层也有自己一套元数据，包括表信息，索引信息等，这两套元数据并没有机制保证一致性，这就导致了在异常情况下可能存在元数据不一致问题，一种典型场景下，删表操作，sever层的frm已经成功删除了，但引擎层数据字典并没有更新，导致再建重名表失败的问题。同样的，比如drop table t1,t2;可能出现只删除了t1，而t2仍然存在等问题。

8.0的一个重要工作是将数据字典统一，独立了DD(数据字典)模块，废弃了server层的元数据，将innodb的元数据抽象出一条DD接口供server层和innnodb层公用。在DD的基础上，引入了DDL的原子性特性，确保DDL操作要么全做，要么全不做的能力。实现这一套逻辑的关键点在于将ddl涉及到的修改，包括dd数据字典修改，引擎层的修改(创建文件，初始化tablespace，创建btree等)和写binlog作为一个“事务”，利用事务的原子性特点来保证ddl操作的原子性。

2.DDL原子性实现原理

实现原子性的关键在于确保dd数据字典修改，引擎层的修改和写binlog是一个事务。MySQL已有的XA事务机制能有效保证DML事务和binlog的一致性。而ddl数据字典也是通过innodb引擎存储，因此做到dd数据字典修改和binlog一致是容易的；那么还需要解决的一个问题是，dd数据字典和引擎层修改的一致性，引擎层的修改并不都是记redo的，比如创建文件，rename文件名，或者清理cache等，无法简单地通过XA机制解决问题，因此8.0还引入了一套DDL_LOG机制。具体而言，就是将不记redo的一些操作，通过记日志的方式写入到ddl_log表中，而这个表是innodb引擎表，通过保证ddl_log数据与dd数据字典修改达成一致，而最终解决dd数据字典修改，引擎层的修改和写binlog一致性问题。

3.DD引入前后对比

4.DDL操作实现逻辑

引入ddl_log表后，ddl操作在原有的基础上有一些变化，主要有两点，一点是在执行ddl的过程中，会记录ddl操作到ddl_log表中；另一点是新增了一个post_ddl阶段，ddl事务提交后，做一些ddl的收尾动作，比如drop-table，真正的删除物理文件是在post-ddl阶段做的。post-ddl做的事情主要就是，读取ddl-log内容，进行回放执行。ddl操作类型如下：

 enum class Log_Type : uint32_t { /** Smallest log type */ SMALLEST_LOG = 1, /** Drop an index tree */ FREE_TREE_LOG = 1, /** Delete a file */ DELETE_SPACE_LOG, /** Rename a file */ RENAME_SPACE_LOG, /** Drop the entry in innodb_dynamic_metadata */ DROP_LOG, /** Rename table in dict cache. */ RENAME_TABLE_LOG, /** Remove a table from dict cache */ REMOVE_CACHE_LOG, /** Alter Encrypt a tablespace */ ALTER_ENCRYPT_TABLESPACE_LOG, /** Biggest log type */ BIGGEST_LOG = ALTER_ENCRYPT_TABLESPACE_LOG };

通过innodb_print_ddl_logs开关，可以看到ddl过程中写入到innodb_ddl_log表中的内容。下面会以几个典型的ddl操作产生的ddl_log来说明如何保证ddl的原子性。

4.1 create table

语句：create table dd_tt(id int primary key, c1 int);

 [InnoDB] DDL log insert : [DDL record: DELETE SPACE, id=352, thread_id=23, space_id=71, old_file_path=./mysql/dd_tt.ibd] [InnoDB] DDL log delete : 352 [InnoDB] DDL log insert : [DDL record: REMOVE CACHE, id=353, thread_id=23, table_id=1128, new_file_path=mysql/dd_tt] [InnoDB] DDL log delete : 353 [InnoDB] DDL log insert : [DDL record: FREE, id=354, thread_id=23, space_id=71, index_id=231, page_no=4] [InnoDB] DDL log delete : 354 [InnoDB] DDL log post ddl : begin for thread id : 23 [InnoDB] DDL log post ddl : end for thread id : 23

说明：

1.所有insert操作都是一个单独的事务，对应的逆向delete操作是整个ddl事务的一部分。

2.insert操作记录的是文件操作的逆向操作，比如建table_space,逆向操作就是delete_space_log。

3.如果ddl事务最终成功，那么所有逆向delete操作也最终生效，ddl_log日志被正常清理；如果ddl事务执行过程中失败(比如实例crash)，那么delete操作回滚，ddl_log表中残留3条insert_log，recover时，replay这些ddl_log，即可以清理ddl过程中产生的垃圾。

4.crash-recovery时，若binlog已经落盘，则对应的ddl事务处于prepare状态，那么最终事务要提交，ddl_log被清理干净；若binlog没有落盘，则ddl事务需要回滚，ddl_log表中残留3条记录，在故障恢复结束后，需要replay这些记录，实际上就是建文件，创建btree等逆向操作，确保回滚后是干净的。

4.2 drop table

语句：drop table dd_tt;

 [InnoDB] DDL log insert : [DDL record: DROP, id=355, thread_id=23, table_id=1128] [InnoDB] DDL log insert : [DDL record: DELETE SPACE, id=356, thread_id=23, space_id=71, old_file_path=./mysql/dd_tt.ibd] [InnoDB] DDL log post ddl : begin for thread id : 23 [InnoDB] DDL log replay : [DDL record: DELETE SPACE, id=356, thread_id=23, space_id=71, old_file_path=./mysql/dd_tt.ibd] [InnoDB] DDL log replay : [DDL record: DROP, id=355, thread_id=23, table_id=1128] [InnoDB] DDL log post ddl : end for thread id : 23

说明：对于drop操作而言，执行过程中只是操作ddl_log，并不做真正的drop物理表操作。在post-ddl阶段，会读取ddl_log表中的记录并replay，做真正的删除动作。如果执行过程中crash了，那么整个ddl事务会回滚，这其中也包含ddl_log中的内容也会回滚，那么整个drop操作就相当于没发生一样。

4.3 add index

语句：alter table dd_tt add index idx_c1(c1);

 [InnoDB] DDL log insert : [DDL record: FREE, id=360, thread_id=23, space_id=72, index_id=233, page_no=5] [InnoDB] DDL log delete : 360 [InnoDB] DDL log post ddl : begin for thread id : 23 [InnoDB] DDL log post ddl : end for thread id : 23

说明：建索引与建表类似，insert操作部分是一个事务，单独提交，配套会记录一个delete操作，这个操作是整个ddl事务的一部分，事务如果最终提交，那么ddl-log内容被删除；如果事务最终回滚，那么ddl-log中会残留一条FREE-log，通过replay则可以清理建好的索引，达到回滚的效果。

4.4 drop index

语句：alter table dd_tt drop index idx_c1;

 [InnoDB] DDL log insert : [DDL record: FREE, id=361, thread_id=23, space_id=72, index_id=233, page_no=5] [InnoDB] DDL log post ddl : begin for thread id : 23 [InnoDB] DDL log replay : [DDL record: FREE, id=361, thread_id=23, space_id=72, index_id=233, page_no=5] [InnoDB] DDL log post ddl : end for thread id : 23

说明：

与drop table类似，执行过程中只记录日志，在post-ddl阶段才进行真正的删除操作。

4.5 add column

语句：alter table dd_tt add column c2 int;

 [InnoDB] DDL log post ddl : begin for thread id : 23 [InnoDB] DDL log post ddl : end for thread id : 23

说明：

8.0加列是instant-ddl，只修改元数据，与dml事务类似，不依赖ddl-log保证原子性。

4.6 drop column

语句：alter table dd_tt drop column c2;

语句分解：

1.prepare阶段：

 create table #sql-ib1129-2815969725; [InnoDB] DDL log insert : [DDL record: DELETE SPACE, id=362, thread_id=23, space_id=73, old_file_path=./mysql/#sql-ib1129-2815969725.ibd] [InnoDB] DDL log delete : 362 [InnoDB] DDL log insert : [DDL record: REMOVE CACHE, id=363, thread_id=23, table_id=1130, new_file_path=mysql/#sql-ib1129-2815969725] [InnoDB] DDL log delete : 363 [InnoDB] DDL log insert : [DDL record: FREE, id=364, thread_id=23, space_id=73, index_id=234, page_no=4] [InnoDB] DDL log delete : 364

2.peform阶段：nothing about ddl-log

3.commit阶段：

3.1 alter table dd_tt rename to #sql-ib1130-2815969726;

 [InnoDB] DDL log insert : [DDL record: DROP, id=365, thread_id=23, table_id=1129] 
[InnoDB] DDL log insert : [DDL record: RENAME SPACE, id=366, thread_id=23, space_id=72, old_file_path=./mysql/#sql-ib1130-2815969726.ibd, new_file_path=./mysql/dd_tt.ibd] [InnoDB] DDL log delete : 366 [InnoDB] DDL log insert : [DDL record: RENAME TABLE, id=367, thread_id=23, table_id=1129, old_file_path=mysql/#sql-ib1130-2815969726, new_file_path=mysql/dd_tt] [InnoDB] DDL log delete : 367

逆向操作：alter table mysql/#sql-ib1130-2815969726 rename to dd_tt;

3.2 alter table #sql-ib1129-2815969725 rename to dd_tt;

 [InnoDB] DDL log insert : [DDL record: RENAME SPACE, id=368, thread_id=23, space_id=73, old_file_path=./mysql/dd_tt.ibd, new_file_path=./mysql/#sql-ib1129-2815969725.ibd] [InnoDB] DDL log delete : 368 [InnoDB] DDL log insert : [DDL record: RENAME TABLE, id=369, thread_id=23, table_id=1130, old_file_path=mysql/dd_tt, new_file_path=mysql/#sql-ib1129-2815969725] [InnoDB] DDL log delete : 369

逆向操作：alter table dd_tt rename to mysql/#sql-ib1129-2815969725;

 [InnoDB] DDL log insert : [DDL record: RENAME SPACE, id=368, thread_id=23, space_id=73, old_file_path=./mysql/dd_tt.ibd, new_file_path=./mysql/#sql-ib1129-2815969725.ibd] [InnoDB] DDL log delete : 368 [InnoDB] DDL log insert : [DDL record: RENAME TABLE, id=369, thread_id=23, table_id=1130, old_file_path=mysql/dd_tt, new_file_path=mysql/#sql-ib1129-2815969725] [InnoDB] DDL log delete : 369

仅仅记录操作，在post-ddl阶段才做清理。

post-ddl阶段：

 drop table #sql-ib1130-2815969726; [InnoDB] DDL log insert : [DDL record: RENAME SPACE, id=368, thread_id=23, space_id=73, old_file_path=./mysql/dd_tt.ibd, new_file_path=./mysql/#sql-ib1129-2815969725.ibd] [InnoDB] DDL log delete : 368 [InnoDB] DDL log insert : [DDL record: RENAME TABLE, id=369, thread_id=23, table_id=1130, old_file_path=mysql/dd_tt, new_file_path=mysql/#sql-ib1129-2815969725] [InnoDB] DDL log delete : 369

说明：drop column是copy类型的ddl，基本逻辑是新建一张临时表，拷贝数据，最后再进行一次rename操作。主要包括4个阶段：

1.prepare阶段：建临时表的过程与建表过程的ddl-log操作类似，insert-log作为单独事务直接提交，delete-log是整个事务的一部分。

这个阶段如果出现异常，ddl-log表中残留了逆操作记录，crash-recovery时，可以在replay实现清理。

2.peform阶段: 拷贝数据结束，实现online-ddl逻辑。

3.拷贝数据结束后，需要进行rename交换表名操作。

1)DROP,删除临时表

2)RENAME SPACE/TABLE 将./mysql/#sql-ib1130-2815969726.ibd 重命名为dd_tt.idb

3)REANAME SPACE/

上一篇：在Windows环境下安装MySQL 的教程图解_Mysql_

下一篇：记一次MySQL Slave库恢复实战记录_Mysql_

您现在的位置是：网站首页> 编程资料编程资料

MySQL8.0 DDL原子性特性及实现原理_Mysql_

相关内容

点击排行

本栏推荐

猜你喜欢