一、原子性
在回答问题之前,似乎需要对“原子性”这个概念有一个清新的认识,因此,我们首先要分析的是原子性的概念。
关系型数据库的原子性
通常意义上,我们说的原子性是指关系型数据库 RDBMS(比如 MySQL)的原子性,也就是 ACID(Atomicity、Consistency、Isolation、Durability)中 Atomicity 这一项特性。
ACID 中的原子性指是:事务中的所有操作要么全部执行成功,要么全部失败回滚。
这里以银行转账这个生活实例来解释原子性:账户 A 给 账户 B 转账 100 元,原子性就是指账户 A 减去 100 元的同时,账户 B 必须增加 100 元,如果账户 A 减少 100 元,账户 B 没有增加 100 元,该操作就不具备原子性,需要进行回滚,将账户 A 减少的 100 元加回去。Java 代码实现如下:
Lua 原子性
想要知道 Lua 的原子性,就必须先弄清 Lua 是什么,下图摘自 Lua 官方描述:
what’s lua
Lua 是一种功能强大、高效、轻量级、可嵌入的脚本语言。它支持过程编程、面向对象编程、函数式编程、数据驱动编程和数据描述。 Lua 将简单的过程语法与基于关联数组和可扩展语义的强大数据描述结构相结合。Lua 是动态类型的,通过使用基于寄存器的虚拟机解释字节码来运行,并具有自动内存管理和增量垃圾回收功能,使其成为配置、脚本编写和快速原型设计的理想选择。
Lua 本身并没有提供对于原子性的直接支持,它只是一种脚本语言,通常是嵌入到其他宿主程序中运行,比如 Redis。
在 Redis 中,执行 Lua 脚本的原子性是指:整个 Lua 脚本在执行期间,不会被其他客户端的命令打断。
为了更好地理解 Redis 执行 Lua 的原子性,这里以 Lua 脚本中需要完成 `SET key1 value1` 和 `INCRBY key2 value2` 和 `SET key3 value3` 三个命令为例:
上述例子中,整个 luaScript 字符串脚本作为一个整体被执行且不被其他事务打断,这就是一个原子性的操作。
好了,总结下 ACID 的原子性和 Redis 执行 Lua 脚本原子性在概念上的差异:
- ACID 的原子性是指:命令要么全执行,要么全部不执行;
- Redis 中执行 Lua 脚本原子性是指:Lua 脚本需要作为一个整体执行且不被其他事务打断,至于 Lua 脚本里面的命令是否必须全部成功,或者全部失败,并不要求。关于这一点,在下面的内容会详细解释;
二、Redis 事务
在分析原子性概念时,我们可以发现“原子性”其实就是事务中的一项特性,因此,接下来分析 Redis 的事务也就顺理成章了。下图是 Redis 官方对事务描述的摘要:
文档看起来很长,总结成一句话:Redis 事务允许执行一批命令,通过执行 MULTI 命令开启事务,执行 EXEC 命令结束事务,WATCH 和 DISCARD 配合事务一起使用,提供了一种 CAS(check-and-set) 乐观锁的机制。WATCH 用于监听 Key,如果被监听的 Key 有任何一个发生变化,则中止事务(被动关闭事务),而 DISCARD 用于主动中止事务。
MULTI/EXEC 命令
用一个示例来理解 MULTI/EXEC:
通过执行的结果可以看出:Redis 的事务是以 MULTI 命令开启,以 EXEC 命令结束,期间所有的命令都是先进入队列,只有执行 EXEC 命令时,才会把队列中的所有命令顺序串行执行,并且返回一个所有命令执行结果的数组,包括命令执行的错误信息。
需要注意的是:在 EXEC 执行后,即使事务队列中有命令执行失败,队列中的所有其他命令也会被处理,Redis 不会停止执行这些命令。
DISCARD 和 WATCH 也是 Redis 中用于事务的两个命令,它们与 MULTI 和 EXEC 一起使用,提供更复杂的事务处理机制。
WATCH 命令
WATCH 命令用于监听一个或多个 Key,如果在执行事务期间这些 Key 中任何一个 Key 的 value 被其他事务修改,当前整个事务将会被中止。(需要注意:低于 6.0.9 的 Redis 版本,Key 过期不会中止事务)
如下示例:事务 1 watch key1 key2,事务 2 在事务 1 执行期间修改 key2 = 10,当事务 1 执行 exec 命令时,因为 watch 监听到 key2 被其他事务(事务 2)修改了(value=10) , 因此事务 1 被取消,事务队列中的所有命令被清除,即 `set key1 value1` 和 `incrby key 2`两条命令都不执行,key2 的 value 还是 10;
事务1 | 事务2 |
---|---|
watch key1 key2 | |
multi | |
set key1 value1 | |
incrby key2 2 | set key2 10 |
exec | |
keys * // 只有key2=10 | keys * // 只有key2=10 |
DISCARD 命令
DISCARD 命令用于中止事务。
如下示例,执行 DISCARD 命令后,当前事务被中止,因此,执行 EXEC 时会报“ERR EXEC without MULTI”错误。
事务中的错误
事务中主要会出现两种类型的错误:
- 事务命令进入事务队列之前出错。例如,命令语法错误(参数错误、命令名称错误等),或者可能存在一些关键情况,比如内存不足。如下示例,命令`incr key2 1/0` 在进入事务队列之前报错,所以,当前事务被中止,执行 EXEC 命令会报错:
- 调用 EXEC 命令后,事务队列中的命令执行失败。例如,对字符串值进行加 1 操作。如下示例,key 的 value 是字符串,当对 key 执行`incr key` 操作时报错,因此,该条命令执行失败:
事务回滚
Redis 的事务不支持回滚。 官方说明如下:
Redis 不支持事务回滚,因为支持回滚会对 Redis 的简单性和性能产生重大影响。
官方说明简明扼要,其实,多加思考也能理解:“Redis” 是 “REmote DIctionary Server” 的缩写,翻译为“远程字典服务”,设计的初衷是用于缓存,追求快速高效。而了解过 ACID 事务的小伙伴应该能明白事务回滚的复杂度,因此,Redis 不支持事务回滚似乎也合情合理。
到此,我们也对 Redis 事务做个小结:Redis 的事务由 MULTI/EXEC 两个命令完成,WATCH/DISCARD 两个命令的加持,给 Redis 事务提供了 CAS 乐观锁机制。Redis 事务不支持回滚,它和关系型数据库(比如 MySQL)的事务(ACID)是不一样的。
三、Redis 如何执行 Lua?
分析完原子性和 Redis 事务这些理论知识后,我们就得动手实操,看看 Redis 是如何执行 Lua 的。
一般情况下,Redis 执行 Lua 常用的方法有 2 种:
- 原生命令,比如 EVAL/EVALSHA 命令等;
- 编程工具,比如编程语言中提供的三方工具包或类库;
在编写 Lua 脚本时,需要注意区分 redis.call() 和 redis.pcall() 两个命令的使用。
EVAL
EVAL script numkeys [key [key ...]] [arg [arg ...]]
EVAL 语法很简单,EVAL script numkeys 是必填项,[key [key …]] [arg [arg …]]是选填项。
如下示例截图,分别展示了不传 Key,传 1 个 key 和 2 个 key 3 种场景:
图片
下图示例展示了 [key [key …]] [arg [arg …]] 和 numkeys 匹配错误时报错的场景:
redis.call()
redis.call() 用于执行 Redis 的命令。当命令执行出错时,会阻断整个脚本执行,并将错误信息返回给客户端。
如下示例:当执行`INCRBY key2 1/0` 失败时,会抛异常,后续流程被阻断,即`SET key3 value3`没有被执行。
Redis 原生命令执行示例如下:
# Redis Lua callEVAL "redis.call('SET', 'key1', 'value1'); redis.call('INCRBY', 'key2', 1/0); redis.call('SET', 'key3', 'value3')" 0
使用 Jedis 框架执行 Lua 示例如下:
查看 Lua 执行后各个 key 的值,截图如下:
redis.pcall()
redis.pcall() 也用于执行 Redis 的命令。当命令执行出错时,不会阻断脚本的执行,而是内部捕获错误,并继续执行后续的命令。
如下示例:当执行`INCRBY key2 1/0` 失败时,不会抛异常,后续流程继续执行,即`SET key3 value3` 也被执行。
Redis 原生命令执行示例:
# Redis Lua pcallEVAL "redis.pcall('SET', 'key1', 'value1'); redis.pcall('INCRBY', 'key2', 1/0); redis.pcall('SET', 'key3', 'value3')" 0
使用 Jedis 框架执行 Lua 示例:
对于 Lua 中 redis.call() 和 redis.pcall() 如何选择,需要根据实际业务来判断,标准是:当 Lua 脚本中某条命令执行出错时,是否需要阻断后续的命令执行。
四、如何保证原子性?
Redis 是典型的 C/S(Client/Server) 模型,如下图:
这里以 Redis 单机部署为例,讲解如何保证原子性。当客户端向服务器发送一段带有 Lua 脚本的请求时,Redis 会把该 Lua 脚本当作一个整体,将 Lua 脚本加载到一个脚本缓存中,因为 Redis 读写命令是单线程操作,因此,Lua 脚本的读写在 Redis 服务器上可以简单地抽象成下图,所有的 Lua 脚本会按照进入顺序放入队列中,然后串行进行读写,这样就保证了原子性:
需要说明:Redis 有 3 种不同的部署方式,部署方式不同,原子性的保证也不一样。
- 单机部署 不管 Lua 脚本中操作的 key 是不是同一个,都能保证原子性;
- 主从部署 Redis 主从复制是用于将主节点的数据同步到从节点,以保持数据的一致性。而 Redis 的所有写操作都在主节点上,所以,不管 Lua 脚本中操作的 key 是不是同一个,都能保证原子性; 需要注意:当主节点执行写命令时,从节点会异步地复制这些写操作。在这个复制的过程中,从节点的数据可能与主节点存在一定的延迟。因此,如果在 Lua 脚本中包含读操作,并且该脚本在主节点上执行,可能会读到最新的数据,但如果在从节点上执行,可能会读到稍有延迟的数据。
- Cluster 部署 如果 Lua 脚本操作的 key 是同一个,能保证原子性; 如果操作的 Key 不相同,可能被 hash 到不同的 slot,也可能 hash 到相同的 slot,所以不一定能保证原子性; 因此,在 Cluster 集群部署的环境下使用 Lua 脚本时一定要注意:Lua 脚本中操作的是同一个 Key;
五、面试该如何回答?
在面试中,Redis 执行 Lua 脚本时,能否保证原子性?这个问题如何作答?
- 第一步,需要解释这里的原子性是什么?它和关系数据事务 ACID中的一致性的差异是什么?消除原子性在具体载体(RDBMS/NoSQL)上概念的差异;
- 第二步,需要解释 Redis 的事务,说明 RDBMS/NoSQL 在事务上的差异点;
- 第三步,需要解释 Redis在不同部署方式下原子性能否保证。Redis部署方式有3种:单机部署,主从部署,Cluster集群部署,需要说明在哪些部署方式下能保证原子性,哪些不能保证原子性;
- 第四步,解释 Redis 执行 Lua 脚本是如何保证原子性;
- 第五步,分析下 Redis 的单线程模型 和 IO 多路复用模型(加分项),这步是可选项;
六、为什么需要 Lua?
既然 Redis 事务能保证原子性,为什么还需要 Lua 脚本呢?
- Lua 脚本一般比 MULTI/EXEC 更快、更简单;
- Redis 事务中,事务队列中的所有命令都必须在 EXEC 命令执行才会被执行,对于多个命令之间存在依赖关系,比如后面的命令需要依赖上一个命令结果的场景,Redis 事务无法满足,因此 Lua 脚本更适合复杂的场景;
- Redis 事务能做的 Lua 能做,Redis 事务做不到的 Lua 也能做;
七、Lua 注意事项
Redis 执行 Lua 脚本时,Lua 的编写需要注意以下几个点:
- 不要在 Lua 脚本中使用阻塞命令(如 BLPOP、BRPOP 等)。因此这些命令可能会导致 Redis 服务器在执行脚本期间被阻塞,无法处理其他请求;
- 不要编写过长的 Lua 脚本。因为 Redis 读写命令是单线程,过长的脚本,加载,解析,运行会比较耗时,导致其他命令的延迟延迟增加;
- 不要在 Lua 脚本中进行复杂耗时的逻辑;因为 Redis 读写命令是单线程的,长时间运行脚本可能导致其他命令的延迟增加;
- Lua 脚本中,需要注意区分 redis.call() 和 redis.pcall() 命令;
- Lua 索引表从索引 1 开始,而不是 0;
八、总结
- 原子性需要区分具体使用的载体,在关系型数据库(比如 MySQL))和 No SQL(比如 Redis)中,原子性的概念是不相同的;
- Redis 的事务(MULTI/ESXEC)和关系型数据库(比如 MySQL)的事务(ACID)也是不相同的;
- ACID 的原子性指:命令要么全部执行,要么全部不执行;
- Redis 执行 Lua 脚本的原子性指:Lua 脚本会当作一个整体被执行且不被其他事务打断,但是 Lua 脚本里面的命令无法保证“要么全部执行,要么全部不执行”;
- Lua 脚本使用 redis.pcall() 执行命令出错时会被 catch,后续命令会正常执行;
- Lua 脚本使用 redis.call() 执行命令出错时会抛给客户端,后续命令会被阻断;
- Lua 脚本一般比 MULTI/EXEC 更快、更简单;
- Redis 的部署方式决定了 Redis 执行 Lua 脚本是否能保证原子性,编写 Lua 脚本时,特别需要注意在一个事务中是否要求操作同一个 key;