# 日志

# 错误日志

# 定义

错误日志是 MySQL 中最重要的日志之一,它记录了党 mysqld 启动和停止时,以及服务器在运行过程中发生任何严重错误时的相关信息,当数据库出现任何故障导致无法正常使用时,建议首先查看此日志

# 查看错误日志命令

show variables like "%log_error%";

# 二进制日志

# 介绍

二进制日志(BINGLOG)记录了所有的 DDL 语句和 DML 语句,但不包括数据查询数据

作用:灾难时数据恢复、MySQL 的主从复制

# 日志格式

日志格式 含义
STATEMENT 基于 SQL 语句的日志记录,记录的是 SQL 语句,对数据进行修改的 SQL 都会记录在日志文件中
ROW 基于行的日志记录,记录的是每一行的数据变更
MIXED 混合了 STATEMENT 和 ROW 两种格式,默认采用 STATEMENT,在某些特殊情况下会自动切换为 ROW 进行记录

# 日志查看

# mysqlbinlog

  1. -d :指定数据库名称,只列出指定数据库相关操作
  2. -o :忽略掉日志中的前 n 行命令
  3. -v :将行事件(数据变更)重构为 SQL 语句
  4. -vv :将行事件(数据变更)重构为 SQL 语句,并输出注释信息

# 日志删除

对于比较繁忙的业务系统,每天生成的 binlog 数据巨大,如果长时间不清理,会占用大量磁盘空间

指令 含义
reset master 删除全部 binlog 日志,删除之后,日志编号,将从 binlog.000001 重新开始
purge master logs to 'binglog.000002' 删除 binglog.000002 之前的所有日志
purge master logs before 'yyyy-mm-dd hh24:mi:ss' 删除日志为指定日志之前的所有日志

# 查询日志

查询日志中记录了客户端所有操作语句,查询日志默认是未开启

# 慢查询日志

慢查询日志记录了所有执行时间超过参数 long_query_time 设置值并且扫描记录不小于 min_examined_row_limit 的所有的 SQL 语句的日志,默认未开启

# 主从复制

# 概述

主从复制是指将主主数据库的 DDL 和 DML 操作通过二进制日志传到从库服务器中,然后在从库上对这些日志重新执行,从而使得从库与主库数据保持同步

image-20230523205139411

  1. 主库出现问题,可以快速切换到从库提供服务
  2. 实现读写分离,降低主库得访问压力
  3. 可以从从库中执行备份,以避免备份期间影响主库服务

# 原理

image-20230523205452144

  1. Master 主库在事务提交时,会把数据变更得记录在二进制日志文件 Binlog 中
  2. 从库读取主库的二进制文件 Binlog,写入到从库的中继日志 Relay Log
  3. salve 重做中继日志中的事件,将改变反映它自己的数据

# 搭建

# 服务器的准备

image-20230523205850464

# 主库配置

# 修改配置文件 /etc/my.cnf

server-id=1

read-only=0

# 重启 MySQL 服务器

systemctl restart mysqld

# 登录 mysql,创建远程连接账号,并赋予主从复制权限

#创建用户,并设置密码,该用户可在任意主机上连接到该 MySQL 服务
create user 'baozi'@'%' identified with mysql_native_password by 'root@123456';
#为 'baozi'@'%' 用户分配主从复制权限
grant replication slave on *.* to 'baozi'@'%';

# 通过指令查看二进制日志坐标

show master status;

# 从库配置

# 修改配置文件 /etc/my.cnf

server-id=2

read-only=1

# 重启 MySQL 服务器

systemctl restart mysqld

# 登录 mysql,设置主库配置

change replication source to source_host='xxx_xxx',source_user='xxx',source_password='xxx',source_log_file='xxx',source_log='xxx';

# 分库分表

# 介绍

# 问题分析

image-20230524192335817

  1. IO 瓶颈:热点数据太多,数据库缓存不足,产生大量磁盘 IO,效率较低,请求数据太多,带宽不够,网络 IO 瓶颈
  2. CPU 瓶颈:排序、分组、连接查询、聚合统计等 SQL 会消耗大量的 CPU 资源,请求数太多,CPU 出现瓶颈

# 定义

分库分表的中心思想就是将数据分散存储,使得单一数据库 / 表得数据变小来缓解单一数据库得性能问题,从而达到提升数据库性能得目的

# 拆分策略

# 垂直拆分(数据库)

image-20230524193730729

垂直分库:以表为依据,根据业务将不同表拆分到不同库中

  1. 每个库得表结构都不一样
  2. 每个库得数据也不一样
  3. 所有库得并集是全量数据

# 垂直拆分(表)

image-20230524194036932

垂直分库:以字段为依据,根据字段属性得不同字段拆分到不同表中

  1. 每个表得结构都不一样
  2. 每个表得数据也不一样,一般通过一列(主键 / 外键)关联
  3. 所有表得并集是全量数据

# 水平拆分(数据库)

image-20230524194201294

水平分库:以字段为依据,按照一定得策略,将一个库得数据拆分到多个库中

  1. 每个库的表结构都一样
  2. 每个库的数据都不一样
  3. 所有库的并集是全量数据

# 水平拆分(表)

image-20230524194448163

水平分表:以字段为依据,按照一定策略,将一个表的数据拆分到多个表中

  1. 每个表的结构都一样
  2. 每个表的数据都不一样
  3. 所有表的并集都是全量数据

# 实现技术

  1. shardingJDBC:基于 AOP 原理,在应用程序中对本地执行的 SQL 进行拦截,解析,改写,路由处理,需要自行编码配置实现,只支持 java 语言,性能较高
  2. MyCat:数据库分库分表中间件,不用调整代码即可实现分库分表,支持多种语言

# MyCat 概述

# 介绍

MyCat 是开源的,活跃的,基于 Java 语言编写的 MySQL 数据库中间件,可以像使用 mysql 一样来使用 mycat,对于开发人员来说根本感觉不到 mycat 的存在

  1. 性能可靠稳定
  2. 较大的技术团队
  3. 体系完善
  4. 社区活跃

image-20230524203143713

更新于 阅读次数

请我喝[茶]~( ̄▽ ̄)~*

Baozi 微信支付

微信支付

Baozi 支付宝

支付宝

Baozi 微信

微信