Redis 与消息队列

Java 后端中间件进阶：Redis 数据模型、缓存工程与一致性、消息队列通用原理与 RocketMQ/Kafka/RabbitMQ 实践。

发布于 2026/9/22 · 175 个公开章节

开始学习 →

课程目录

Redis 定位、数据模型与基本操作

1Redis 是什么：内存数据结构服务器，而不只是简单的 Key-Value 缓存→2Redis 与 MySQL：职责、数据模型、持久化和查询能力的区别→3Redis 的常见用途：缓存、计数、排行榜、会话、共享状态与消息场景→4Key 命名规范：业务前缀、对象标识、环境隔离与避免 Key 冲突→5TTL：过期时间的设置、查询与更新→6常用命令：读写、删除、过期、批量操作与键空间观察→7原子命令：为什么“先读取、再计算、再写回”可能产生并发问题→8Pipeline：减少网络往返的适用场景与限制→9Redis 事务 `MULTI/EXEC`：执行特点及其与关系型数据库事务的区别→10Lua 脚本：将多个 Redis 操作组合成原子执行单元→11Redis 不等于关系型数据库：复杂关联查询与业务事实数据应如何取舍→12选择 Redis 前先回答：为什么需要它、缓存什么、如何失效、故障时怎么办→

Redis 数据类型与业务场景

1String：缓存对象、计数器、验证码与简单状态→2Hash：对象字段、用户资料与局部字段更新→3List：列表、阻塞式队列模型及其适用边界→4Set：去重、交集、并集与共同关注等场景→5Sorted Set：排行榜、积分排名与按分值范围查询→6Bitmap：签到、布尔状态与位级统计→7HyperLogLog：大规模基数估算与误差边界→8GEO：地理位置存储与附近地点查询的基本能力→9Stream：消息流、消费者组、待确认消息与消息重领的基本能力→10TTL 与数据结构组合：例如排行榜是否需要过期、计数是否要重置→11数据类型选择：围绕查询方式、更新方式、数据规模和准确性要求作决定→12常见误用：把所有对象序列化成一个大 String、创建过大的集合或无界增长的 List/Stream→13底层结构只学必要原理：哈希表、跳表、紧凑编码等如何影响操作成本→14版本边界：Redis 的内部编码会随版本演进，不将某个旧版本的底层实现当作永久不变的事实→

Java 与 Spring Boot 集成

1Spring Data Redis 的定位与基本依赖→2Redis 连接配置、连接工厂与连接池→3`RedisTemplate` 与 `StringRedisTemplate` 的使用场景→4Key、Value、Hash Key、Hash Value 的序列化配置→5JSON 序列化、类型信息、兼容性与反序列化风险→6常用数据类型操作：Value、Hash、List、Set、ZSet→7TTL 设置、过期策略与缓存更新→8Spring Cache：`@Cacheable`、`@CachePut`、`@CacheEvict` 的职责→9缓存 Key 设计、条件缓存、空值缓存与过期时间配置→10`@Cacheable` 与代理机制的关系：自调用、方法可见性等常见限制→11超时、连接异常、序列化异常与 Redis 不可用时的应用行为→12Redis 命令执行的可观测性：日志、慢命令、连接池与耗时→13单元测试与集成测试：命中、未命中、过期、更新、删除和 Redis 故障→14安全配置：网络隔离、ACL/凭据、TLS（按环境需要）与敏感信息保护→

缓存设计、缓存问题与数据一致性

1缓存的收益与成本：延迟、内存、失效、一致性和额外运维复杂度→2Cache Aside：读时加载、更新数据库、删除缓存→3缓存写入策略：旁路缓存、读写穿透等术语的含义与常见边界→4数据库与缓存的更新顺序：为什么不存在适用于所有业务的万能顺序→5为什么常见做法是更新数据库后删除缓存，以及仍然可能失败的情况→6并发读写中的旧值回填与缓存失效竞态→7延迟双删：解决思路、依赖的假设与并非万能保证的原因→8缓存穿透：无效查询、空值缓存与布隆过滤器的边界→9缓存击穿：热点 Key 失效、互斥重建与逻辑过期思路→10缓存雪崩：集中失效、TTL 抖动、预热与限流→11热 Key：访问集中、局部热点、拆分与读扩散的取舍→12大 Key：识别、拆分、渐进删除与避免阻塞式大操作→13内存淘汰策略、过期删除与业务 TTL 的区别→14缓存命中率、回源比例、数据新鲜度与内存使用的联合观察→15多级缓存：本地缓存 + Redis 的收益、失效传播与排查复杂度→16强一致性要求：判断缓存是否适用；不能只靠设置 TTL 就宣称数据一致→17可靠失效的扩展方案：重试任务、Outbox 或订阅数据库变更的基本思路（具体消息/分布式设计在相关章节深化）→

Redis 持久化、高可用与运维

1Redis 命令处理、事件循环与 I/O 多路复用的基本思路→2慢命令、大 Key、高复杂度操作对延迟的影响→3RDB：快照、恢复效率、备份用途与潜在数据丢失窗口→4AOF：写命令追加、同步策略、重写与恢复→5RDB 与 AOF：机制差异、组合方式与持久化取舍→6关闭持久化的风险：缓存用途与重要业务数据的要求不同→7主从复制：复制流、断线重连与部分重同步的基本概念→8异步复制意味着什么：故障切换时仍可能丢失最近写入→9Sentinel：监控、故障判断、主节点切换与客户端发现→10Redis Cluster：哈希槽、分片、扩缩容与故障处理→11Sentinel 与 Cluster 的定位差异：高可用与数据分片不是同一个概念→12备份、复制和高可用的区别：不能把“有副本”当成“已经做好备份”→13内存容量、碎片、淘汰、命中率、连接数、慢命令与延迟监控→14故障排查：连接超时、内存飙升、延迟升高、主从切换与缓存集中失效→15安全：禁止不必要的公网暴露、最小权限、认证、网络隔离与备份访问控制→

Redis 分布式锁、限流与消息功能边界

1进程内锁、数据库锁与 Redis 锁分别能解决什么问题→2使用 `SET key value NX PX ...` 获取带租期的锁→3用唯一请求标识作为锁值，避免误删其他客户端的锁→4使用 Lua 原子校验锁值并释放锁→5锁过期、业务执行超时、进程暂停与锁失效风险→6锁续期与 Redisson：基本机制及其不构成绝对正确性保证的原因→7需要强正确性时，数据库唯一约束、版本校验或围栏令牌等补充方案→8固定窗口、滑动窗口与令牌桶限流的基本思路→9使用 Redis 做共享计数、限流与简单去重时的原子性要求→10Redis Pub/Sub：发布订阅模型与实时广播用途→11Pub/Sub 的投递边界：离线订阅者会错过消息，不能当作可靠持久队列→12Redis Streams：消息记录、消费者组、ACK、Pending 与消息重领→13Redis List、Pub/Sub、Streams 与专用 MQ 的差异→14何时选择 Redis 消息能力，何时应使用 RocketMQ/Kafka/RabbitMQ 等专用消息系统→

消息队列的定位、模型与选型

1消息队列解决什么问题：异步处理、解耦、削峰与事件传播→2Producer、Broker、Consumer、Topic、Queue/Partition 与 Consumer Group→3点对点、发布订阅、工作队列与事件驱动模式→4同步调用与异步消息：响应时机、失败传播与用户体验差异→5消息体、消息 Key、业务 ID、事件类型、时间戳与 Schema 版本→6消息队列不会自动创造吞吐能力：Broker、消费者与下游依然有容量上限→7何时不需要 MQ：低复杂度同步业务、没有异步价值或缺乏运维能力的场景→8选型维度：吞吐、延迟、顺序、保留、重放、路由、事务、生态与运维成本→9Redis Pub/Sub、Redis Streams 与专用 MQ 的语义差异→10RocketMQ、Kafka、RabbitMQ 的定位：先理解业务语义，再选择产品→

消息可靠性、消费语义与故障治理

1消息发送请求成功、Broker 接收、持久化与消费者处理成功是不同阶段→2生产者确认、发送失败、超时与“结果不确定”的问题→3Broker 持久化、副本与可靠性配置的基本含义→4消费确认、消费进度、Offset 与消息重新投递→5至多一次、至少一次与“恰好一次”的边界→6为什么业务消费者必须考虑重复消息与幂等处理→7幂等方案：业务唯一键、去重表、状态检查与数据库唯一约束→8全局顺序与局部顺序的代价差异→9分区、队列、消息组与顺序消费的关系→10重试策略、退避、最大重试次数与死信队列→11毒消息、持续失败、人工排查、补偿与重新投递→12延迟/定时消息与定时任务的适用边界→13消息积压：生产速率、消费速率、队列/分区数量与下游瓶颈→14消费者扩容、并发度、背压与批量消费→15消息保留、重放、重复消费与数据清理策略→16监控指标：生产失败率、消费延迟、积压量、重试量、死信量与处理耗时→17消息追踪：业务事件 ID、消息 ID、日志关联与端到端状态核对→18“发送成功”不等于“下游业务已完成”，业务状态仍需可查询、可恢复→

RocketMQ：Java 业务消息主线

1RocketMQ 的定位、基本架构与适用场景→2NameServer、Broker、Producer、Consumer 等组件的职责（以所选版本官方架构为准）→3Topic、消息类型、Tag/过滤、消息 Key 与消费组→4Java 生产者：同步发送、异步发送、发送结果、超时与失败处理→5Java 消费者：消费组、并发消费、消费结果与失败处理→6普通消息：订单后续处理、通知与业务解耦→7顺序消息：消息组、局部顺序、串行消费与吞吐量之间的取舍→8延迟/定时消息：适用场景、支持的时间范围与版本差异→9消费重试、死信队列与失败消息治理→10事务消息：半消息、本地事务状态、回查与最终一致性→11事务消息的边界：不能保证下游消费者业务一定成功→12消息发送与消费幂等：MQ 的重试机制不能替代业务幂等→13Spring Boot 集成、配置管理、连接与异常处理→14本地 Demo：发送、消费、异常重试、重复消息与消息积压→15监控与排障：生产失败、消费延迟、重试与死信→16版本边界：区分 RocketMQ 4.x 与 5.x 文档/API，不混用示例和配置→17生产环境的 Topic/消费组规划、权限、容量与消息保留→

Kafka：事件流与高吞吐消息系统

1Kafka 的定位：事件流、日志型消息与高吞吐数据管道→2Topic、Partition、Replica、Broker 与分区内有序→3Producer、序列化、分区键与批量发送→4Consumer Group、分区分配、Offset 与消费进度→5Rebalance：触发原因、消费暂停与稳定性影响→6消息保留、日志压缩、重放与事件数据建模→7副本同步、ISR、生产者确认与可靠性配置的基本含义→8消费重复、Offset 提交时机与业务幂等→9Kafka 事务与 Kafka 内部读写语义的边界→10消费延迟、分区倾斜、积压与吞吐量排查→11Kafka 与 RocketMQ 的定位差异：按业务模型、生态与运维能力选型→12学习边界：理解核心架构并完成基础 Demo；除非岗位/项目需要，不要求与 RocketMQ 同等深度→

RabbitMQ 与消息产品选型

1RabbitMQ 的定位、AMQP 与路由模型→2Exchange、Queue、Binding、Routing Key 与常见交换机类型→3Direct、Topic、Fanout 路由与发布订阅→4Publisher Confirms、Consumer ACK、持久化与重新投递→5Prefetch、消费者并发、死信与重试策略→6RabbitMQ 与 RocketMQ/Kafka 在路由、吞吐、保留和运维上的差异→7RabbitMQ 何时值得深入：目标岗位、现有系统或项目确实使用时→8产品选型不以“哪个绝对最好”为答案，而以消息语义、吞吐、延迟、运维能力与团队经验作判断→

数据库与消息的可靠衔接

1数据库事务与发送消息之间的“双写”问题→2先写数据库再发消息、先发消息再写数据库各自的失败窗口→3发送超时但 Broker 可能已接收：为什么简单重试可能产生重复消息→4事务消息：它解决什么问题，不能自动解决什么问题→5Outbox/本地消息表：业务数据与待发送事件在同一数据库事务中落库→6后台投递、投递确认、重复发送与消费者幂等→7消息重试、死信、补偿、对账与人工介入→8事件 Schema 设计：事件 ID、聚合 ID、版本、时间和业务含义→9消费者状态检查：只允许合法状态转换，避免重复消息造成重复扣款/发货等副作用→10最终一致性的基本思路：可重试、可幂等、可观测、可补偿→11业务消息的保留、回放、脱敏与数据治理→12详细的 Saga、TCC、跨服务事务和微服务一致性策略放入下一份分布式系统教程→

综合实践：为 Java 业务引入缓存与异步消息

1先建立一个普通 Spring Boot + MySQL 业务模块，明确业务事实数据与状态→2为读取频繁且允许短暂旧值的数据引入 Redis 缓存→3定义缓存 Key、TTL、更新/删除策略与缓存未命中行为→4模拟缓存穿透、击穿、雪崩和缓存失效失败→5增加一个异步业务动作，例如订单通知或后台处理任务→6选择 RocketMQ 完成生产者、Broker 与消费者的基本链路→7设计业务事件 ID、消费幂等、重试与死信处理→8模拟生产者超时、消费者宕机、重复消息、消费失败与消息积压→9对比直接同步调用与异步消息的响应时间、失败传播与排障成本→10记录 Redis 与 MQ 的关键指标、日志和业务状态→11输出一份技术决策记录：为什么引入、备选方案、预期收益、代价和回滚方法→12只在 Demo 证明收益后再考虑把中间件引入真实项目，避免为使用技术而增加复杂度→