# 存储引擎

# MySQL 体系结构

1. 连接层：最上层是一些客户端和链接服务，主要完成一些类似于连接处理、授权认证、及相关的安全方案，服务器也会为安全接入的每个客户端验证它所具有的操作权限
2. 服务层：第二层架构主要完成大多数的核心服务功能，如 SQL 接口，并完成缓存的查询，SQL 的分析优化，部分内置函数的执行，所有跨存储引擎的功能也在这一层实现，如过程，函数
3. 引擎层：存储引擎真正的负责了 MySQL 中数据的存储与提取，服务器通过 API 和存储引擎进行通信，不同的存储引擎具有不同的功能，这样我们可以根据自己的需要，来选取合适的存储引擎
4. 存储层：主要是将数据存储在文件系统之上，并完成与存储引擎的交互

# 存储引擎简介

# 概念

存储引擎就是存储数据、建立索引、更新 / 查询数据等技术的实现方式，存储引擎是基于表的，而不是基于库的，所以存储引擎也可被称为表类型

# 创建表时指定存储引擎

CREATE TABLE `user` (

  `id` int DEFAULT NULL COMMENT '编号',

  `name` varchar(50) DEFAULT NULL COMMENT '名字',

  `age` int DEFAULT NULL COMMENT '年龄'

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci COMMENT='用户表'

# 查看当前数据库支持的存储引擎

show engines;

# 存储引擎特定

# InnoDB

# 介绍

InnoDB 是一种兼顾可靠性和高性能的通用存储引擎，在 MySQL 5.5 之后，InnoDB 是 1 默认的 MySQL 存储引擎

# 特点

1. DML 操作遵循 ACID 模型，支持事务
2. 行级锁，提高并发访问性能
3. 支持外键 FOREIGN KEY 约束，保证数据的完整性和正确性

# 文件

xxx.ibd：xxx 代表表名，innoDB 引擎的每张表都会对应这样一个表空间文件，存储该表的表结构 (frm、sdi)、数据和索引

# 逻辑存储结构

# MyISAM

# 介绍

MyISAM 是 MySQL 早期的默认存储引擎

# 特点

1. 不支持事务，不支持外键
2. 支持表锁，不支持行锁
3. 访问速度快

# 文件

1. xxx.sdi：存储表结构信息
2. xxx.MYD：存储数据
3. xxx.MYI：存储索引

# Memory

# 介绍

Memory 引擎的表数据存储在内存中 1，由于受到硬件问题、或断电问题影响，只能将这些表作为临时表或缓存使用

# 特点

1. 内存存放
2. hash 索引（默认）

# 文件

xxx.sdi：存储表结构信息

# 三种引擎对比

# 存储引擎选择

在选择存储引擎，应该根据应用系统特点选择合适的存储引擎，对于复杂的应用系统，还可以根据实际情况选择多种存储引擎进行组合

1. InnoDB：是 MySQL 的默认存储引擎，支持事务，外键，如果应用对事物的完整性有比较高的要求，在并发情况下要求数据的一致性，数据操作除了和查询之外，还包含很多的更新、删除操作，那么 InnoDB 存储引擎是比较合适的选择
2. MyISAM：如果应用是以读操作和插入操作为主，只有很少的更新和删除操作，并且对事务的完整性要求不是很高，那么可以选择这个存储引擎是非常合适的
3. Memory：将所有数据保存在内存中，访问速度很快，通常用于临时表及缓存，Memory 的缺陷就是对表的大小有限制，太大的表无法缓存在内存中，而且无法保证数据安全性

# 索引

# 索引概述

# 介绍

索引（index）是帮助 MySQL 高效获取数据的数据结构，在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查找算法，这种数据结构就是索引

# 优缺点

# 索引结构

# 索引分类

# 索引对应存储引擎

# B-Tree

# 二叉树与红黑树

1. 二叉树缺点：顺序插入时，会形成一个链表，查询性能大大降低，大数据量情况下，层级较深，检索速度慢
2. 红黑树：大数据量情况下，层次较深，检索速度慢

# B-Tree（多路平衡查找树）

# B+Tree

# Hash

# 介绍

哈希索引就是采用一定的 hash 算法，将键值换算成新的 hash 值，映射到对应的槽位上，然后存储在 hash 表中

# 特点

1. Hash 索引只能用于对等比较 (=，in)，不支持范围查询（between，>，<，...）
2. 无法利用索引完成排序操作
3. 查询效率高，通常只需要一次检索就可以了，效率通常要高于 B+tree 索引

# 索引分类

# 分类

# InnoDB 索引分类

# 聚集索引选取规则

1. 如果存在主键，主键索引就是聚集索引
2. 如果不存在主键，将使用第一个唯一（UNIQUE）索引作为聚集索引
3. 如果表没有主键，或没有合适的唯一索引，则 InnoDB 会自动生成一个 rowid 作为隐藏的聚集索引

# 查询过程图示

# 索引语法

# 创建索引

create [UNIQUE | FULLTEXT] index_name on table_name (index_col_name,...);

# 查看索引

show index from table_name;

# 删除索引

drop index index_name on table_name;

# SQL 性能分析

# SQL 执行频率

MySQL 客户端连接成功后，通过 show [session | global] status 命令可以提供服务器状态信息，通过如下指令可以查看当前数据库的 INSERT、UPDATE、DELETE、SELECT 的访问频次

show global status like 'Com_______';

# 慢查询日志

慢查询日志记录了所有执行时间超过指定参数（long_query_time，单位：秒，默认十秒）的所有 SQL 语句的日志，MySQL 的慢查询日志默认没有开启，需要在 MySQL 的配置文件（/etc/my.cnf）中配置如下信息

# 开启 MySQL 慢日志查询开关

slow_query_log=1

# 设置慢日期的时间为 2 秒，SQL 语句执行时间超过 2 秒，就会视为慢查询，记录慢查询日志

long_query_time=2

配置完毕之后，通过以下指令重新启动 MySQL 服务器进行测试，查看慢日志文件中记录的信息 /var/lib/mysql/localhost-slow.log

# profile 详情

show profiles 能够在做 SQL 优化时帮助我们了解时间都耗费在到哪里去了，通过 have_profile 参数，能够看到当前 MySQL 是否支持 profile 操作

select @@have_profiling;

默认 profiling 是关闭的，可以通过 set 语句在 session/global 级别开启 profiling

set profiling=1;

执行一系列的业务 SQL 操作，然后通过如下指令查看指令的执行耗时

# 查看每一条都 SQL 耗时的基本情况

show profiles;

# 查看指定 query_id 的 SQL 语句各个阶段的耗时情况

show profile for query query_id;

# 查看指定 query_id 的 SQL 语句 CPU 的使用情况

show profile cpu for query query_id;

# explain 执行计划

# id

select 查询的序列号，表示查询中执行 select 字句或是操作表的顺序（id 相同，执行顺序从上到下；id 不同，值越大，越先执行）

# select_type

表示 SELECT 的类型，常见的取值有 SIMPLE（简单表，即不使用表连接或者子查询）、PRIMARY（主查询，即外层的查询）、UNION（UNION 中的第二个或者后面的查询语句）、SUBQUERY（SELECT/WHERE 之后包含了子查询）等

# type

表示连接的类型，性能由好到差的连接类型为 NULL、system、const、eq_ref、ref、range、index、all

# possible_key

显示可能应用在这张表的索引，可能一个或多个

# Key

实际使用的索引，结果为 NULL，则没有使用索引

# Key_len

表示索引中使用的字节数，该值为索引字段最大可能长度，并非实际使用长度，在不损失精确性的情况下，长度越短越好

# rows

MySQL 认为必须要执行查询的行数，在 innoDB 引擎的表中，是一个估计值，可能并不总是准确

# filtered

表示返回结果的行数占需要读取行数的百分比，filtered 的值越大越好

# 索引使用

# 索引简单使用

create index 索引名 on 表名(属性名);

show index from 表名;

# 最左前缀法则

如果索引了多列（联合索引），要遵守最左前缀法则，最左前缀法则指的是从索引的最左列开始，并且不跳过索引中的列，如果跳跃某一个列，索引将部分失效

# 范围查询

联合查询中，出现范围查询 (>，<)，范围查询右侧的列索引失效 1

# 索引列运算

不要在索引列上进行运算操作，否则索引会失效

# 字符串不加引号

字符串类型不加单引号，索引会失效

# 模糊查询

尾部模糊匹配，索引不会失效，头部模糊匹配，索引失效

# or 连接条件

1. 用 or 分割开的条件，如果 or 前的条件中的列有索引，而后面的列中没有索引，那么涉及的索引都不会被用到
2. 解决办法，给后面没有索引的列添加索引

# 数据分布影响

MySQL 如果走索引更慢，会放弃索引，走全表扫描

# SQL 提示

SQL 提示，是优化是数据库的一个重要手段，简单来说，就是在 SQL 语句中加入一些认为的提示来达到优化的目的

# use index

explain select * from 表名 use index(索引名) where [条件];

# ignore index

explain select * from 表名 ignore index(索引名) where [条件];

# force index

explain select * from 表名 force index(索引名) where [条件];

# 覆盖索引

尽量使用覆盖索引（查询使用了索引，并且需要返回的列，在该索引中已经全部找到），减少 select *

# 前缀索引

# 语法

create index 索引名 on 表名(属性名(n));

# 前缀长度

可以根据索引的选择性来决定，而选择性是指不重要的索引值（基数）和数据表的记录总数的比值，索引选择性越高则查询效率越高，唯一索引的选择性是 1，这是最好的索引选择性，性能也是最好的

# 单列索引与联合索引

1. 单列索引：即一个索引只包含单个列
2. 联合索引：即一个索引只包含多个列

在业务中，如果存在多个查询条件，考虑针对于查询字段建立索引时，建议建立联合索引，而非单列索引

# 索引设计原则

1. 针对于数据量较大，查询比较频繁的表建立索引
2. 针对于常作为查询条件（where）、排序（order by）、分组（group by）操作的字段建立索引
3. 尽量选择区分度高的列作为索引，尽量建立唯一索引，区分度高，使用索引的效率越高
4. 如果是字符串类型字段，字段的长度较长，可以针对于字段的特点，建立前缀索引
5. 尽量使用联合索引，减少单列索引，查询时，联合索引很多时候可以覆盖索引，节省存储空间，避免回表，提高查询效率
6. 要控制索引的数量，索引并不是多多益善，索引越多，维护索引结构的代价越大，会影响增删改效率
7. 如果索引列不能存储 NULL 值，请在创建表时用 NOT NULL 约束它，它优化器知道每列是包含 NULL 值时，它可以更好的确定哪个索引最有效地用于查询

# SQL 优化

# 插入数据

# insert 优化

# 批量插入

insert into tb_test values(1,'tom'),(2,'cat'),(3,'jerry');

# 手动提交事务

start transaction;

insert into tb_test values(1,'tom'),(2,'cat'),(3,'jerry');

insert into tb_test values(4,'tom'),(5,'cat'),(6,'jerry');

insert into tb_test values(7,'tom'),(8,'cat'),(9,'jerry');

commit;

# 主键顺序插入

# 大批量插入数据

如果一次性要插入大批量数据，使用 insert 语句插入性能较低，此时可以使用 MySQL 数据库提供的 load 指令进行插入

1. 客户端连接到服务器时，加上参数 --local-infile： mysql --local infile -uroot -proot
2. 设置全局参数 local_infile 为 1，开启从本地加载文件导入数据的开关： set global local_file = 1
3. 执行 load 指令将准备好的数据加载得到表结构中： load data local infile '/root/sql1.log into table 'tb_user' fields terminated by ',' lines terminated by '\n'

# 主键优化

# 数据组织方式

在 InnoDB 存储引擎中，表数据都是根据主键顺序组织存放的，这种存储方式的表称为索引组织表（Index organized table IOT）

# 页分裂

页可以为空，也可以填充一半，也可以填充 100%，每个页包含了 2-N 行数据（如果一行数据很大，会行溢出），根据主键排列

# 页合并

1. 当删除一行记录时，实际上记录并没有被物理删除，只是记录被标记（flaged）为删除并且它的空间变得允许被其它记录声明使用
2. 当页中删除的数据达到 MERGE_THRESHOLD（默认为页的 50%），InnoDB 会开始寻找最靠近的页（前或后）看看是否可以将两个页合并以优化空间使用

# 主键设计原则

1. 满足业务需求情况下，尽量降低主键的长度
2. 插入数据时，尽量选择顺序插入，选择使用 AUTO_INCREMENT 自增主键
3. 尽量不要使用 UUID 做主键或者是其它的自然主键，如身份证号
4. 业务操作时，避免对主键的修改

# order by 优化

# 排序方式

1. Using filesort：通过表的索引或全表扫描，读取满足条件的数据行，然后在排序缓冲区 sort buffer 中完成排序操作，所有不是通过索引直接返回排序结果的排序都叫 FileSort 排序
2. Using index：通过有序索引顺序扫描直接返回有序排序，这种情况即为 using index，不需要额外排序，操作效率高

# 注意

1. 根据排序字段建立合适的索引，多字段排序时，也遵循最左前缀法则
2. 尽量使用覆盖索引
3. 多字段排序，一个升序一个降序，此时需要注意联合索引在创建时的规则（ASC/DESC）
4. 如果不可避免出现 filesort，大数据量排序时，可以适当增加排序缓冲区大小 sort_buffer_size（默认 256K）

# group by 优化

1. 分组操作时，可以通过索引来提高效率
2. 分组操作时，索引都得使用也是满足最左前缀法则的

# limit 优化

# 优化思路

一般分页查询时，通过创建，覆盖索引能够比较好的提高性能，可以通过覆盖索引加子查询形式进行优化

# count 优化

# 不同引擎 count 执行过程

1. MyISAM 引擎把一个表的总行数存在了磁盘上，因此执行 count(*) 的时候会直接返回这个数，效率很高
2. InnoDB 引擎：它执行 count(*) 的时候，需要把数据一行一行地从引擎里面读出来，然后累计计数

# count 几种用法

# count (主键)

InnoDB 引擎会遍历整张表，把每一行的主键 id 值都取出来，返回给服务层，服务层拿到主键后，之直按行进行累加（主键不能为 null）

# count (字段)

1. 没有 not null 约束：InnoDB 引擎会遍历整张表的每一个字段值都取出来，返回给服务层，服务层判断是否为 null，不为 null，计数累加
2. 有 not null 约束：InnoDB 引擎会遍历整张表把每一行的字段值都取出来，返回给服务层，直接按行进行累加

# count(1)

InnoDB 引擎遍历整张表，但不取值，服务层对于返回的每一行，放一个数字 1 进去，直接按行进行累加

# count(*)

InnoDB 引擎并不会把全部字段取出来，而是做了专门优化，不取值，服务层直接按行累加

# update 优化

InnoDB 的行锁是针对索引加的锁，不是针对记录加的锁，并且该索引不能失效，否则会从行锁升级为表索

# 视图 / 存储过程 / 触发器

# 视图

# 介绍

1. 视图（View）是一种虚拟存在的表，视图中的数据并不是数据库中实际存在的，行和列数据来定义视图查询中使用的表，并且使用视图时动态生成
2. 视图只保存了查询 SQL 的逻辑，不保存查询结果，所有我们创建视图的时候，主要的工作就落在创建查询语句上

# 创建视图

create [or replace] view 视图名称[(列表名称)] as select语句 [with [cascade | local] check option]

create or replace view stu_v_1 as select Sno,Sname from student where Sno > 10;

# 查询视图

show create view 视图名称;

select * from 视图名称 ...;

# 修改

create [or replace] view 视图名称[(列表列名)] as select语句 [with [cascade | local | check option]]

alter view 视图名称[(列表名称)] as select语句 [with [cascade | local ] check option]

# 删除

drop view [if exists] 视图名称 [视图名称]...

# 视图的检查选项

1. 当使用 with check option 子句创建视图时，MySQL 会通过视图检查正在更改的每个行，例如插入、更新、删除，以使其它符合视图的定义
2. MySQL 允许基于另一个视图创建视图，它还会检查依赖视图中的规则则保持一致性，为了确定检查的范围，mysql 提供了两个选项：CASCADE（级联）和 LOCAL，默认值 CASCADE

# 视图的更新

要使视图可更新，视图中的行与基础表中的行之间必须存在一对一的关系

1. 聚合函数或窗口函数（SUM ()、MIN ()、MAX ()、COUNT () 等）
2. DISTINCT
3. GROUP BY
4. HAVING
5. UNION 或者 UNION ALL

# 视图作用

# 简单

视图不仅可以简化用户对数据的理解，也可以简化他们的操作，那些被经常使用的查询可以被定义为视图，从而使用户不必为以后操作每次指定全部条件

# 安全

数据库可以授权，但不能授权到数据库特定行和特定列上，通过视图用户只能查询和修改他们所看到的数据

# 数据独立

视图可以帮助用户屏蔽真实表结构带来的影响

# 存储过程

# 介绍

1. 存储过程是事先经过编译并存储在数据库中的一段 SQL 语句的集合，调用存储过程可以简化应用开发人员的很多工作，减少数据在数据库和应用服务器之间的传输，对于提高数据处理的效率是有好处的
2. 存储过程思想上很简单，就是数据库 SQL 语言层面的代码封装与重用

# 特点

1. 封装、复用
2. 可以接收参数，也可以返回数据
3. 减少网络交互，效率提升

# 创建存储过程

create procedure 存储过程名称([参数列表])

begin

	-- SQL 语句

end;

# 调用存储过程

call 名称([参数]);

# 查看存储过程

select * from information_schema.routines where routine_schema = 'xxx'; # 查询指定数据库的存储过程及状态信息

show create procedure 存储过程名称;	# 查询某个存储过程的定义

# 删除存储过程

drop procedure [if exists] 存储过程名称;

注意：：在命令行中，执行创建存储过程 SQL 时，需要通过关键字 delimiter 指定 SQL 语句的结束符

# 变量

# 系统变量

是 MySQL 服务器提供，不是用户自定义，属于服务器层面，分为全局变量（GLOBAL）、会话变量（SESSION）

查看系统变量

show [session | global] variables;	-- 查看所有系统变量

show [session | global] variables like '...';	-- 可以通过 LIKE 模糊查询匹配方式查找变量

select @@[session | global] 系统变量名;	-- 查看指定变量的值

设置系统变量

set [session | global] 系统变量名 = 值;

set @@[session | global] 系统变量名 = 值;

# 用户自定义变量

是用户根据需要自己定义的变量，用户变量不用提前声明，在用的时候直接用 "@变量名" 使用就可以，其作用域为当前连接

赋值

set @var_name = expr [,@var_name = expr]...;

set @var_name = expr [,@var_name := expr]...;

select @var_name := expr [,@var_name := expr]...;

select 字段名 into @var_name from 表名;

使用

select @var_name;

# 3）局部变量

是根据需要定义在局部生效的变量，访问之前，需要 DECLARE 声明，可用作存储过程内的局部变量和输入参数，局部变量的范围是其内声明的 BEGIN...END 块

声明

declare 变量名 变量类型 [default...];

变量类型就是数据库字段类型：INT、BIGINT、CHAR、VARCHAR、DATE、TIME 等

赋值

set 变量名 = 值；

set 变量名 := 值；

select 字段名 into 变量名 from 表名...;

# if

# 语法

if 条件1 then

	......

elseif 条件2 then	-- 可选

	......

else	-- 可选

	......

end if;

# 存储过程参数

# 参数类型

# 参数用法

create procedure 存储过程名称([IN/OUT/INOUT 参数名 参数类型])

begin

	-- SQL 语句

end;

# case

# 语法 1

case case_value

	where when_value1 then statument_list1

	[when when_value2 then statement_list2]...

	[else statement_list]

end case;

# 语法 2

case

	where search_condition1 then statement_list1

	[when search_condition2 then statement_list2]...

	[else statement_list]

end case;

# while

while 循环时有条件的循环控制语句，满足条件后，再执行循环体中的 SQL 语句

# 先判断条件，如果条件为 true，则执行逻辑，否则不执行逻辑

while 条件 do

	SQL逻辑

end while;

# repeat

repeat 时有条件的循环控制语句，当满足条件的时候退出循环

# 先执行一次逻辑，然后判断逻辑是否满足，如果满足，则退出，如果不满足，则继续下一次循环

repeat 

	SQL逻辑...

	until 条件

end repeat;

# loop

loop 实现简单循环，如果不在 SQL 逻辑中增加退出循环的条件，可以用其来实现简单的死循环，loop 可以配合两个语句使用

1. leave：配合循环使用，退出循环
2. iterate：必须用在循环中，作用时跳过当前循环剩下的语句，直接进入下一次循环

[begin_bable:] loop

	SQL逻辑...

end loop [end_label];

leave lable;	-- 退出指定标记的循环体

iterate label;	-- 直接进入下一次循环

# 游标 - cursor

# 定义

== 游标（CURSOR）== 是用来存储查询结果集的数据类型，在存储过程和函数中可以使用游标对结果集进行循环的处理，游标的使用包括游标的声明、OPEN、FETCH 和 CLOSE

# 声明游标

declare 游标名称 cursor for 查询语句;

# 打开游标

open 游标名称;

# 获取游标记录

fetch 游标名称 into 变量 [,变量];

# 关闭游标

close 游标名称;

# 条件处理程序

# 定义

== 条件处理程序（Handler）== 可以用来定义在流程控制结构执行过程中遇到问题时相应的处理步骤

declare handle_action handler for condtion_value [,condition_value]... statement;

handler_action

	continue: 继续执行当前程序

	exit: 终止执行当前程序

condition_value

	sqlstate sqlstate_value: 状态码，如02000

	sqlwarning: 所有以01开头的SQLSTATE代码的简写

	not found: 所有以02开头的sqlstate代码的编写

	sqlexception: 所有没有被sqlwarning或not found捕获的sqlstate代码的简写

# 存储函数

# 定义

存储函数是有返回值的存储过程，存储函数参数只能是 IN 类型

create function 存储函数名称([参数列表])

returns type [characteristic ...]

begin

	-- SQL 语句

	return ...;

end;

/*

characteristic 说明：

* deterministic: 相同的输入参数总是产生相同的结果

* no sql：不包含 SQL 语句

* reads sql data：包含读取数据的语句，但不包含写入数据的语句

*/

# 触发器

# 介绍

1. 触发器是与表有关的数据库对象，指在 insert / update / delete 之前或之后，触发并执行触发器中定义的 SQL 语句集合，触发器的这种特性可以协助应用在数据库端确保数据的完整性，日志记录、数据校验等操作
2. 使用别名 OLD 和 NEW 来引用触发器中发生变化的记录内容，这与其它数据库是相似的，现在触发器只支持行级触发，不支持语句级触发

# 触发器类型

# 触发器语法

# 创建

create trigger trigger_name

before/after insert/update/delete

on tbl_name for each row -- 行级触发器

begin

	trigger_stmt;

end;

# 查看

show trigger;

# 删除

drop trigger [schema_name] trigger_name; -- 如果没有指定 schema_name 默认为当前数据库

# 锁

# 概述

# 介绍

锁是计算机协调多个进程或者线程并发访问某一资源的机制，在数据库中，除传统的计算资源（CPU、RAM、I/O）的争用以外，数据也是一种供许多用户共享的资源，如何保证数据并发访问的一致性、有效性是所有数据库必须要解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素，从某个角度来说，锁对数据库而言显得尤其重要，也更加复杂

# 分类

MySQL 中的锁，按照锁的粒度纷纷那，分为三类

1. 全局锁：锁定数据库中的所有表
2. 表级锁：每次操作锁住的整张表
3. 行级锁：每次操作锁住对应的行数据

# 全局锁

# 介绍

1. 全局锁就是对整个数据库实例加锁，加锁后整个实例处于只读状态，后续的 DML 的写语句，DDL 语句，已经更新操作的事务提交语句都将被阻塞
2. 典型使用场景就是做全库的逻辑备份，对所有的表进行锁定，从而获取一致性视图，保证数据完整性

# 代码实现

# 加锁

flush tables with read lock;

# 备份数据

mysqldump -uroot -proot db01 > db01.sql

# 释放锁

unlock tables;

# 特点

1. 如果在数据库上备份，那么在备份期间都不能执行更新，业务基本就得停摆
2. 如果在从库上备份，那么在备份期间从库不能执行主库同步过来的二进制日志（binlog），会导致主从延迟

在 InnoDB 引擎中，我们备份时加上参数 --single-transaction 参数来完成不加锁的一致性数据备份

mysqldump --single-transaction -uroot -proot db01 > db01.sql

# 表级锁

# 介绍

表级锁，每次操作锁住整张表，锁粒度大，发生锁冲突的概率最高，并发度最低，应用在 MyISAM、InnoDB、BDB 等存储引擎中

1. 表锁
2. 元数据锁（meta data lock，MDL）
3. 意向锁

# 表锁

# 分类

1. 表共享读锁（read lock）
2. 表独占写锁（write lock）

# 语法

1. 加锁： lock tables 表名... read/write
2. 释放锁： unlock tables / 客户端断开连接

# 读锁特点

读锁不会阻塞其它客户端的读，但是会阻塞写

# 写锁特点

写锁既会阻塞其它客户端的读，又会阻塞其它客户端的写

# 元数据锁（meta data lock，MDL）

# 介绍

MDL 加锁过程是系统自动控制，无需显式使用，在访问一张表的时候会自动加上，MDL 锁主要作用是维护表元数据的数据一致性，在表上有活动事务的时候，不可以对元素进行写入操作，为了避免 DML 与 DDL 冲突，保证读写正确性

# 意向锁

# 介绍

为了避免 DML 执行时，加的行锁与表锁的冲突，在 InnoDB 中引入了意向锁，使得表锁不用检查每行数据是否加锁，使用意向锁来减少表锁得检查

# 分类

1. 意向共享锁（IS）：与表锁共享锁（read）兼容，与表锁排他锁（write）互斥
2. 意向排他锁（IX）：与表锁共享锁（read）及排他锁（write）都互斥，意向锁之间不会排斥

# 行级锁

# 介绍

1. 行级锁，每次操纵锁住对应的行数据，锁粒度最小，发生锁冲突概率最低，并发度最高，应用 InnoDB 存储引擎
2. InnoDB 的数据是基于索引组织的，行锁是通过对索引上的索引项加锁来实现的，而不是记录加的锁，对于行级锁，主要分为三类
   1. 行锁（Record Lock）：锁定单个行记录的锁，防止其它事务对此进行 update 和 delete，在 RC、RR 隔离级别下都支持
   2. 间隙锁（Gap Lock）：锁定索引记录间隙，确保索引记录间隙不变，防止其它事务在这个间隙进行 insert，产生幻读，在 RR 隔离级别下都支持
   3. 临键锁（Next-Key Lock）：行锁和间隙锁的组合，同时锁住数据，并锁住数据前面的间隙 Gap，在 RR 隔离级别下都支持

# 行锁

# 分类

1. 共享锁（S）：允许一个事务去读一行，防止其它事务获取相同数据集的排他锁
2. 排他锁（X）；允许获取排他锁的事务更新数据，防止其它事务获得相同数据集的共享锁和排他锁

# 演示

默认情况下，InnoDB 在 REPEATABLE READ 事务隔离级别运行，InnoDB 使用 next-key 锁进行搜索和索引扫描，以防止幻读

1. 针对唯一索引进行检索时，对已存在的记录进行等值匹配时，将会自动优化为行锁
2. InnoDB 的行锁是针对于索引加的锁，不通过索引条件检索数据，那么 InnoDB 将对表中的所有记录加锁，此时就会升级为表锁

# 间隙锁 / 临键锁

默认情况下，InnoDB 在 REPEATABLE READ 事务隔离级别运行，InnoDB 使用 next-key 锁进行搜索和索引扫描，以防止幻读

1. 索引上的等值查询（唯一索引），给不存在的记录加锁时，优化为间隙锁
2. 索引上的等值查询（普通索引），向右遍历时最后一个值不满足查询条需求时，next-key lock 退化为间隙锁
3. 索引上的范围查询（唯一索引）会访问到不满足条件的第一个值为止

间隙锁唯一目的就是防止其它事务插入间隙，间隙锁可以共存，一个事务采用的间隙锁不会阻止另一个事务在不同一间隙上采用间隙锁

# InnoDB

# 逻辑存储结构

# 图示

# 表空间（ibd 文件）

一个 mysql 实例可以对应多个表空间，用于存储记录、索引等数据

# 段

分为数据段（Leaf node segment）、索引段（Non-leaf node segment）、回滚段（Rollback segment），InnoDB 是索引组织表、数据段就是 B + 树的叶子节点，索引段即为 B + 树的非叶子节点，段用来管理多个 Extend（区）

# 区

表空间的单元结构，每个区的大小为 1M，默认情况下，InnoDB 存储引擎页大小为 16K，即一个区中一共有 64 个连续的页

# 页

是 InnoDB 存储引擎磁盘管理的最小单元，每个页的大小默认为 16KB，为了保证页的连续性，InnoDB 存储引擎每次从磁盘申请 4-5 个区

# 行

InnoDB 存储引擎数据是按行来进行存放的

# 架构

# 内存架构

# 图示

# Buffer Pool

Buffer Pool：缓冲池是主内存中的一个区域，里面可以缓存磁盘上经常操作的真实数据，在执行增删改查操作时，先操作缓冲池中的数据（若缓冲池没有数据，则从磁盘加载并缓存），然后再以一定频率刷新到磁盘，从而减少磁盘 IO，加快处理速度

缓冲区以 Page 页为单位，底层采用链表数据结构管理 Page，根据状态，将 Page 分为三种类型

1. free page：空闲 page，未被使用
2. clean page：被使用 page，数据没有被修改过
3. dirty page：脏页，被使用 page，数据被修改过，页中数据与磁盘数据产生了不一致

# Change Buffer

Change Buffer：更改缓冲区（针对于非唯一的一二级索引页），在执行 DML 语句时，如果这些数据 Page 没有在 Buffer Pool 中，不会直接操作磁盘，而会将数据变更存在更改缓冲区 Change Buffer 中，在未来数据被读取时，再将数据合并恢复到 Buffer Pool 中，再将合并后的数据刷新到磁盘中

# Adaptive Hash Index

自适应 hash 索引，用于优化对 Buffer Pool 数据的查询，InnoDB 存储引擎会监控对表上各索引页的查询，如果观察到 hash 索引可以提升速度，则建立 hash 索引，称之为自适应 hash 索引，自适应哈希索引，无需人工干预，是系统根据情况自动完成

# Log Buffer

Log Buffer：日志缓冲区，用来保存要写入到磁盘中的 log 日志数据（redo log、undo log），默认大小为 16MB，日志缓冲区的日志会定期刷新到磁盘中，如果需要更新、插入或删除多行的事务，增加日志缓冲区的大小可以节省磁盘 I/O

# 磁盘结构

# 图示

# System Tablespace

系统表空间是更改缓冲区的存储区域，如果表是在系统表空间而不是每个表文件或通用表空间中创建的，它可能包含表和索引结构

# File-Per-Table Tablespaces

每个表的文件表空间包含单个 InnoDB 表的数据和索引，并存储在文件系统上的单个数据文件中

# General Tablespace

通用表空间，需要通过 CREATE TABLESPACE 语法创建通用表空间，在创建表时，可以指定该表空间

# Undo Tablespace

撤销表空间，MySQL 实例在初始化时会自动创建两个默认的 undo 表空间，用于存储 undo log 日志

# Temporary Tablespaces

InnoDB 使用会话临时表空间和全局临时表空间，存储用户创建的临时表等数据

# Doublewriter Buffer Files

双写缓冲区，innoDB 引擎将数据页从 Buffer Pool 刷新到磁盘前，先将数据页写入双写缓冲区文件中，便于系统异常时恢复数据

# Redo Log

重做日志，是用来实现事务持久性，该日志文件由两部分组成：重做日志缓冲（redo log buffer）以及重做日志文件（redo log），前者是在内存中，后者在磁盘中，当事务提交后会把所有修改信息都会存放到日志中，用于在刷新脏页到磁盘发生错误时，进行数据恢复使用

# 后台线程

# Master Thread

核心后台线程，负责调度其它线程，还负责将缓冲池中的数据异步刷新到磁盘中，保持数据一致性，还包括脏页的刷新、合并插入缓存、undo 页的回收

# IO Thread

在 InnoDB 存储引擎中大量使用了 AIO 来处理 IO 请求，这样就可以极大提高数据库的性能，而 IO Thread 主要负责这些 IO 请求的回调

# Purge Thread

主要用于回收事务已经提交了的 undo log，在事务提交之后，undo log 可能不用了，就用它来回收

# Page Cleaner Thread

协助 Master Thread 刷新脏页到磁盘的线程，它可以减轻 Master Thread 的工作压力，减少阻塞

# 事务原理

# redo log（解决事务持久性）

重做日志，记录的事务提交时数据页的物理修改，是用来实现事务的持久性

该日志文件由两部分组成：重做日志缓冲（redo log bufffer）以及重做日志文件（redo log file），前者是在内存中，后者是在磁盘中，当事务提交后会把所有信息都存到该日志文件中，用于在刷新脏页到磁盘发生错误时，进行数据恢复使用

# undo log（解决事务原子性）

回滚日志，用于记录数据被修改前的信息，作用包含两个：提供回复你和 MVCC（多版本并发控制）

undo log 和 redo log 记录物理日志不一样，它是逻辑日志。可以认为当 delete 一条记录时，undo log 中会记录一条对应的 insert 记录，反之亦然，当 update 一条记录时，它记录一条相应相反的 update 记录，会执行 rollback 时，就可以从 undo log 中的逻辑记录读取到相应的内容并进行回滚

Undo log 销毁：undo log 在事务执行时产生，事务提交时，并不会立即删除 undo log，因为这些日志可能还用于 MVCC

Undo log 存储：undo log 采用段的方式进行管理和记录，存放在前面介绍的 rollback segment 回滚段中，内部包含 1024 个 undo log segment

# MVCC

# MVCC 基本概念

# 当前读

读取的是记录的最新版本，读取时还要保证其它并发事务不能修改当前记录，会对读取的记录进行加锁。

# 快照读

简单的 select（不加锁）就是快照读，快照读，读取的是记录数据的可见版本，有可能是历史数据，不加锁，是非阻塞读

1. Read Committed：每次 select，都生成一个快照读
2. Repeatable Read：开始事务后第一个 select 语句才是快照读的地方
3. Serializable：快照读会退化为当前读

# MVVC

全称 Multi-Version Concurrency Control，多版本并发控制，指维护一个数据的多个版本，使得读写操作没有冲突，快照读为 MySQL 实现 MVCC 提供了一个非阻塞功能，MVCC 的具体实现，还需要依赖于数据库记录中的三个隐式字段、undo log 日志、readView

# 实现原理

# 记录中的隐藏字段

# undo log

混滚日志，在 insert、update、delete 的时候产生的便于数据混滚的日志

当 insert 的时候，产生的 undo log 日志只在回滚时需要，在事务提交后，可被立即删除

而 update、delete 的时候，产生的 undo log 日志不仅在回滚时需要，在快照读时也需要，不会立即被删除

# undo log 版本链

不同事务或相同事务对同一条记录进行修改，会导致该记录 undo log 生成一条记录版本链表，链表的头部是最新的旧记录，链表尾部是最早的旧记录

# readview

ReadView（读视图）是快照读 SQL 执行时 MVCC 提取数据的依据，记录并维护系统当前活跃的事务（未提交的）id

# MySQL 管理

# 系统数据库

# 常用工具

# mysql 命令常用参数

1. -u ：指定用户名
2. -p ：指定密码
3. -h ：指定服务器 ip 或域名
4. -P ：指定连接端口
5. -e ：执行 SQL 语句并退出

# mysqladmin

1. mysqladmin --help
2. mysqladmin -uroot -proot version

# mysqlbinlog

1. -d ：指定数据库名称
2. -o ：忽略日志中的 n 行指令
3. -r ：将输出的文本格式日志输出到指定文件
4. -s ：现实简单格式，忽略掉一些信息
5. --start-datetime=date1 --stop-datetime=date2 ：指定日期间隔内的所有日志

# mysqlshow

1. --count ：显示数据库及表的统计信息
2. -i ：显示指定数据库或指定表的状态信息

# mysqldump

客户端工具用来备份数据库在不同数据库之间的数据迁移，备份内容包含创建表，以及插入表的 SQL 语句

1. -add-drop-database ：在每个数据库创建语句前加上 drop database 语句
2. --add-drop-table ：在每个表创建语句前加上 drop table 语句，默认开启；不开启： --skip-add-drop-table
3. -n ：不包含数据库的创建语句
4. -t ：不包含数据表的创建语句
5. -d ：不包含数据
6. -T ：自动生成两个文件：一个.sql 文件，创建表结构的语句：一个.txt 文件，数据文件