# 分布式事务
# 介绍
就是指不是在单个服务或单个数据库架构下,产生的事务
- 跨数据源的分布式事务
- 跨服务的分布式事务
在数据库水平拆分、服务垂直拆分之后,一个业务操作通常要跨多个数据库、服务才能完成,例如电商行业中比较常见的下单付款案例,包括以下几个行为:
- 创建新订单
- 扣减商品库存
- 从用户账户扣除金额
完成上述操作要完成三个不同的微服务和三个不同的数据库
订单创建、库存扣减、账户扣款在每一个服务和数据库内是一个本地事务,可以保证 ACID 原则
# 理论基础
# CAP 定理
# 介绍
1998 年,加州大学的计算机科学家 Eric Brewer 提出,分布式系统有三个指标
- Consistency(一致性)
- Availability(可用性)
- Partition tolerance(区分容错性)
# 一致性
Consistency(一致性):用户访问分布式系统中的任意节点,得到的数据必须一致
比如现在包含两个节点,其中的初始数据是一致的:
当我们修改其中一个节点的数据时,两者的数据产生了差异:
要想保住一致性,就必须实现 node01 到 node02 的数据 同步:
# 可用性
Availability (可用性):用户访问集群中的任意健康节点,必须能得到响应,而不是超时或拒绝。
如图,有三个节点的集群,访问任何一个都可以及时得到响应:
当有部分节点因为网络故障或其它原因无法访问时,代表节点不可用:
# 区分容错
Partition(分区):因为网络故障或其它原因导致分布式系统中的部分节点与其它节点失去连接,形成独立分区。
Tolerance(容错):在集群出现分区时,整个系统也要持续对外提供服务
# 矛盾
在分布式系统中,系统间的网络不能 100% 保证健康,一定会有故障的时候,而服务有必须对外保证服务。因此 Partition Tolerance 不可避免。
当节点接收到新的数据变更时,就会出现问题了:
如果此时要保证一致性,就必须等待网络恢复,完成数据同步后,整个集群才对外提供服务,服务处于阻塞状态,不可用
如果此时要保证可用性,就不能等待网络恢复,那 node01、node02 与 node03 之间就会出现数据不一致
# BASE 理论
# 三种思想
- Basically Available (基本可用):分布式系统在出现故障时,允许损失部分可用性,即保证核心可用
- **Soft State(软状态):** 在一定时间内,允许出现中间状态,比如临时的不一致状态
- Eventually Consistent(最终一致性):虽然无法保证强一致性,但是在软状态结束后,最终达到数据一致
# 解决分布式事务的思路
分布式事务最大的问题是各个子事务的一致性问题,因此可以借鉴 CAP 定理和 BASE 理论,有两种解决思路:
-
AP 模式:各子事务分别执行和提交,允许出现结果不一致,然后采用弥补措施恢复数据即可,实现最终一
-
CP 模式:各个子事务执行后互相等待,同时提交,同时回滚,达成强一致。但事务等待过程中,处于弱可用状态
但不管是哪一种模式,都需要在子系统事务之间互相通讯,协调事务状态,也就是需要一个事务协调者 (TC):
这里的子系统事务,称为分支事务;有关联的各个分支事务在一起称为全局事务
# 初识 Seata
# 介绍
Seata 是致力于提供高性能和简单易用的分布式事务服务,为用户打造一站式的分布式解决方案
# Seata 架构
# 三个重要角色
- TC (Transaction Coordinator) - ** 事务协调者:** 维护全局和分支事务的状态,协调全局事务提交或回滚
- TM (Transaction Manager) - ** 事务管理器:** 定义全局事务的范围、开始全局事务、提交或回滚全局事务
- RM (Resource Manager) - ** 资源管理器:** 管理分支事务处理的资源,与 TC 交谈以注册分支事务和报告分支事务的状态,并驱动分支事务提交或回滚
# 具体架构图
# Seata 提供的分布式事务解决方案
- XA 模式:强一致性分阶段事务模式,牺牲了一定的可用性,无业务侵入
- TCC 模式:最终一致的分阶段事务模式,有业务侵入
- AT 模式:最终一致的分阶段事务模式,无业务侵入,也是 Seata 的默认模式
- SAGA 模式:长事务模式,有业务侵入
# 微服务集成 Seata
# 引入依赖
<!--seata--> | |
<dependency> | |
<groupId>com.alibaba.cloud</groupId> | |
<artifactId>spring-cloud-starter-alibaba-seata</artifactId> | |
<exclusions> | |
<!-- 版本较低,1.3.0,因此排除 --> | |
<exclusion> | |
<artifactId>seata-spring-boot-starter</artifactId> | |
<groupId>io.seata</groupId> | |
</exclusion> | |
</exclusions> | |
</dependency> | |
<dependency> | |
<groupId>io.seata</groupId> | |
<artifactId>seata-spring-boot-starter</artifactId> | |
<!--seata starter 采用 1.4.2 版本 --> | |
<version>${seata.version}</version> | |
</dependency> |
# 配置 TC 地址
在 order-service 中的 application.yml 中,配置 TC 服务信息,通过注册中心 nacos,结合服务名称获取 TC 地址:
seata: | |
registry: # TC 服务注册中心的配置,微服务根据这些信息去注册中心获取 tc 服务地址 | |
type: nacos # 注册中心类型 nacos | |
nacos: | |
server-addr: 127.0.0.1:8848 # nacos 地址 | |
namespace: "" # namespace,默认为空 | |
group: DEFAULT_GROUP # 分组,默认是 DEFAULT_GROUP | |
application: seata-tc-server # seata 服务名称 | |
username: nacos | |
password: nacos | |
tx-service-group: seata-demo # 事务组名称 | |
service: | |
vgroup-mapping: # 事务组与 cluster 的映射关系 | |
seata-demo: SH |
# Seata 匹配 nacos
# Seata 四种模式及应用
# XA 模式
# 介绍
XA 规范 是 X/Open 组织定义的分布式事务处理(DTP,Distributed Transaction Processing)标准,XA 规范 描述了全局的 TM 与局部的 RM 之间的接口,几乎所有主流的数据库都对 XA 规范 提供了支持
# 两阶段提交
XA 是规范,目前主流数据库都实现了这种规范,实现的原理都是基于两阶段提交
# 正常情况
# 异常情况
一阶段
- 事务协调者通知每个事物参与者执行本地事务
- 本地事务执行完成后报告事务执行状态给事务协调者,此时事务不提交,继续持有数据库锁
二阶段
事务协调者基于一阶段的报告来判断下一步操作
- 如果一阶段都成功,则通知所有事务参与者,提交事务
- 如果一阶段任意一个参与者失败,则通知所有事务参与者回滚事务
# Seata 的 XA 模型
Seata 对原始的 XA 模式做了简单的封装和改造,以适应自己的事务模型,基本架构如图:
# RM 一阶段工作
- 注册事务到 TC
- 执行分支业务 sql 但不提交
- 报告执行状态到 TC
# TC 二阶段工作
- TC 检测各分支事务运行状态
- 如果都成功,通知所有 RM 提交事务
- 如果有失败,通知所有 RM 回滚事务
# RM 二阶段工作
- 接收 TC 指令,提交或回滚事务
# 优缺点
# XA 优点
- 事务有强一致性,满足 ACID 原则
- 常用数据库都支持,实现简单,并且没有代码侵入
# XA 缺点
- 因为一阶段需要锁定数据库资源,等待二阶段才释放,性能较差
- 依赖关系型数据库实现事务
# 实现 XA 模式
# 修改 application.yaml 文件
seata: | |
data-source-proxy-mode: XA |
# 添加 @GlobalTransactional
注解
@Override | |
@GlobalTransactional | |
public Long create(Order order) { | |
orderMapper.insert(order); | |
try { | |
accountClient.deduct(order.getUserId(), order.getMoney()); | |
storageClient.deduct(order.getCommodityCode(), order.getCount()); | |
} catch (FeginException e) { | |
log.error("下单失败,原因{}", e.contentUTF8(), e); | |
throw new RuntimeException(e.contentUTF8(), e); | |
} | |
return order.getId(); | |
} |
# AT 模式
# 介绍
AT 模式同样是分阶段提交的事务模型,不过缺弥补了 XA 模型中资源锁定周期过长的缺陷
# Seata 的 AT 模型
# 阶段一 RM 工作
- 注册分支事务
- 记录 undo-log(数据快照)
- 执行业务 sql 并提交
- 报告事务状态
# 阶段二提交时 RM 的工作
- 删除 undo-log 即可
# 阶段二回滚时 RM 的工作
- 根据 undo-log 恢复数据到更新前
# 流程梳理
# 一阶段
- TM 发起并注册全局事务到 TC
- TM 调用分支事务
- 分支事务准备执行业务 SQL
- RM 拦截业务 SQL,根据 where 条件查询原始数据,形成快照
- RM 执行业务 SQL,提交本地事务,释放数据库锁
- RM 报告本地事务状态给 TC
# 二阶段
- TM 通知 TC 事务结束
- TC 检查分支事务状态
- 如果都成功,则立即删除快照
- 如果有分支事务失败,需要回滚,读取快照数据,将快照数据恢复到数据库,此时数据库再次恢复
# 流程图
# AT 与 XA 区别
- XA 模式一阶段不提交事务,锁定资源;AT 模式一阶段直接提交,不锁定资源
- XA 模式依赖数据库机制实现回滚;AT 模式利用数据快照实现数据回滚
- XA 模式强一致;AT 模式最终一致
# 脏写问题
在多线程并发访问 AT 模式的分布式事务时,有可能出现脏写问题,如图:
解决思路就是引入了全局锁的概念。在释放 DB 锁之前,先拿到全局锁。避免同一时刻有另外一个事务来操作当前数据
# 优缺点
# AT 优点
- 一阶段完成直接提交事务,释放数据库资源,性能比较好
- 利用全局锁实现读写隔离
- 没有代码侵入,框架自动完成回滚和提交
# AT 缺点
- 两阶段之间属于软状态,属于最终一致
- 框架的快照功能会影响性能,但比 XA 模式要好很多
# 实现 AT 模式
# 导入数据库表,记录全局锁
# 修改 application.yaml 文件
seata: | |
data-source-proxy-mode: AT # 默认就是 AT |
# TCC 模式
# 介绍
TCC 模式与 AT 模式非常相似,每阶段都是独立事务,不同的是 TCC 通过人工编码来实现数据恢复。需要实现三个方法:
-
Try:资源的检测和预留;
-
Confirm:完成资源操作业务;要求 Try 成功 Confirm 一定要能成功。
-
Cancel:预留资源释放,可以理解为 try 的反向操作。
# 流程分析
# 阶段一(Try)
初识余额:
余额充足,可以冻结:
# 阶段二(Confirm)
确认可以提交,不过之前可用金额已经扣减过了,这里只要清除冻结金额就好了:
# 阶段三(Canncel)
需要回滚,那么就要释放冻结金额,恢复可用金额:
# Seataa 的 TCC 模型
Seata 中的 TCC 模型依然延续之前的事务架构,如图:
# TCC 模式各阶段作用及优缺点
# TCC 各阶段作用
- Try:资源检查和预留
- Confirm:业务执行和提交
- Cancel:预留资源的释放
# TCC 优点
- 一阶段完成直接提交事务,释放数据库资源,性能好
- 相比 AT 模型,无需生成快照,无需使用全局锁,性能最强
- 不依赖数据库事务,而是依赖补偿操作,可以用于非事务型数据库
# TCC 缺点
- 有代码侵入,需要人为编写 try、Confirm 和 Cancel 接口,太麻烦
- 软状态,事务是最终一致
- 需要考虑 Confirm 和 Cancel 的失败情况,做好幂等处理
# 事务悬挂和空回滚
# 空回滚
当某分支事务的 try 阶段阻塞时,可能导致全局事务超时而触发二阶段的 cancel 操作。在未执行 try 操作时先执行了 cancel 操作,这时 cancel 不能做回滚,就是空回滚
执行 cancel 操作时,应当判断 try 是否已经执行,如果尚未执行,则应该空回滚
# 业务悬挂
对于已经空回滚的业务,之前被阻塞的 try 操作恢复,继续执行 try,就永远不可能 confirm 或 cancel ,事务一直处于中间状态,这就是业务悬挂
执行 try 操作时,应当判断 cancel 是否已经执行过了,如果已经执行,应当阻止空回滚后的 try 操作,避免悬挂
# 实现 TCC 模式
# 思路分析
定义表
CREATE TABLE `account_freeze_tbl` ( | |
`xid` varchar(128) NOT NULL, | |
`user_id` varchar(255) DEFAULT NULL COMMENT '用户id', | |
`freeze_money` int(11) unsigned DEFAULT '0' COMMENT '冻结金额', | |
`state` int(1) DEFAULT NULL COMMENT '事务状态,0:try,1:confirm,2:cancel', | |
PRIMARY KEY (`xid`) USING BTREE | |
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPACT; |
- xid:是全局事务 id
- freeze_money:用来记录用户冻结金额
- state:用来记录事务状态
业务
- Try 业务:
- 记录冻结金额和事务状态到 account_freeze 表
- 扣减 account 表可用金额
- Confirm 业务
- 根据 xid 删除 account_freeze 表的冻结记录
- Cancel 业务
- 修改 account_freeze 表,冻结金额为 0,state 为 2
- 修改 account 表,恢复可用金额
- 如何判断是否空回滚?
- cancel 业务中,根据 xid 查询 account_freeze,如果为 null 则说明 try 还没做,需要空回滚
- 如何避免业务悬挂?
- try 业务中,根据 xid 查询 account_freeze ,如果已经存在则证明 Cancel 已经执行,拒绝执行 try 业务
# 声明 TCC 接口
TCC 的 Try、Confirm、Cancel 方法都需要在接口中基于注解来声明
我们在 account-service 项目中的 cn.itcast.account.service
包中新建一个接口,声明 TCC 三个接口:
@LocalTCC | |
public interface AccountTCCService { | |
@TwoPhaseBusinessAction(name = "deduct", commitMethod = "confirm", rollbackMethod = "cancel") | |
void deduct(@BusinessActionContextParameter(paramName = "userId") String userId, @BusinessActionContextParameter(paramName = "money") int money); | |
boolean confrim(BusinessActionContext ctx); | |
boolean cancel(BusinessActionContext ctx); | |
} |
# 编写实现类
在 account-service 服务中的 cn.itcast.account.service.impl
包下新建一个类,实现 TCC 业务:
@Service | |
@Slf4j | |
public class AccountTCCServiceImpl implements AccountTCCService { | |
@Autowired | |
private AccountMapper accountMapper; | |
@Autowired | |
private AccountFreezeMapper freezeMapper; | |
@Override | |
@Transactional | |
public void deduct(String userId, int money) { | |
// 获取事务 | |
String xid = RootContext.getXID(); | |
// 扣除可用余额 | |
accountMapper.deduct(userId, money); | |
// 记录冻结金额,事务状态 | |
AccountFreeze freeze = new AccountFreeze(); | |
freeze.setUserId(userId); | |
freeze.setFreezeMoney(money); | |
freeze.setState(AccountFreeze.State.TRY); | |
freeze.setXid(xid); | |
freezeMapper.insert(freeze); | |
} | |
@Override | |
public boolean confirm(BusinessActionContext ctx) { | |
// 1. 获取事务 id | |
String xid = ctx.getXid(); | |
// 2. 根据 id 删除冻结记录 | |
int count = freezeMapper.deleteById(xid); | |
return count == 1; | |
} | |
@Override | |
public boolean cancel(BusinessActionContext ctx) { | |
// 0. 查询冻结记录 | |
String xid = ctx.getXid(); | |
AccountFreeze freeze = freezeMapper.selectById(xid); | |
// 1. 恢复可用余额 | |
accountMapper.refund(freeze.getUserId(), freeze.getFreezeMoney()); | |
// 2. 将冻结金额清零,状态改为 CANCEL | |
freeze.setFreezeMoney(0); | |
freeze.setState(AccountFreeze.State.CANCEL); | |
int count = freezeMapper.updateById(freeze); | |
return count == 1; | |
} | |
} |
# SAGA 模式
# 介绍
Saga 模式是 Seata 即将开源的长事务解决方案
# 原理
在 Saga 模式下,分布式事务内有多个参与者,每一个参与者都是一个冲正补偿服务,需要用户根据业务场景实现其正向操作和逆向回滚操作
分布式事务执行过程中,依次执行各参与者的正向操作,如果所有正向操作均执行成功,那么分布式事务提交。如果任何一个正向操作执行失败,那么分布式事务会去退回去执行前面各参与者的逆向回滚操作,回滚已提交的参与者,使分布式事务回到初始状态
Saga 也分为两个阶段:
- 一阶段:直接提交本地事务
- 二阶段:成功则什么都不做;失败则通过编写补偿业务来回滚
# 优缺点
# SAGA 优点
- 事务参与者可以基于事件驱动实现异步调用,吞吐高
- 一阶段直接提交事务,无锁,性能好
- 不用编写 TCC 中的三个阶段,实现简单
# 缺点
- 软状态持续时间不确定,时效性差
- 没有锁,没有事务隔离,会有脏写
# 四种模式对比
# 高可用
# 高可用架构模型
搭建 TC 服务集群非常简单,启动多个 TC 服务,注册到 nacos 即可
但集群并不能确保 100% 安全,万一集群所在机房故障怎么办?所以如果要求较高,一般都会做异地多机房容灾
微服务基于事务组(tx-service-group) 与 TC 集群的映射关系,来查找当前应该使用哪个 TC 集群。当 SH 集群故障时,只需要将 vgroup-mapping 中的映射关系改成 HZ。则所有微服务就会切换到 HZ 的 TC 集群了