节点恢复后,队列里没有待消费消息,任务列表却还有一批排队任务。先别直接把它们标成完成,也别立即让所有消费者反复重连。任务可能从来没有成功进入消息队列。
数据库里创建任务和向消息系统发布,是两个不同步骤。前一步成功、后一步没完成时,只看 broker 的积压指标,无法知道应用还有多少待发布工作。
把待发布事实留在可查询的位置
一种应用设计是在同一数据库事务中写入任务记录和待发布记录。后续发布器查询待发布项,按约定向消息系统投递。这样应用至少能区分“还没进入发布流程”和“已经进入后续处理”。
with connection:
insert_job(connection, task_id)
insert_pending_publication(connection, task_id)
这段示意只约束同一个数据库连接中的两项写入,不把消息队列包含在数据库事务里。发布器仍需要自己的投递、确认、重试和去重设计;不能由这两行推出跨系统恰好一次执行。
查询不同阶段,不把指标直接相加
恢复时可以分别核对任务权威状态、待发布记录、broker 就绪与未确认消息、当前执行尝试。每个集合覆盖的生命周期不同,也可能重叠,不应不加身份核对就简单相加成“总积压”。
同样,一条待发布记录存在,不一定表示从未发布:发布成功后、本地更新前发生中断,就可能留下需要核对的记录。正确做法是允许重复投递并在相应层处理重复,而不是把状态字段当作跨系统原子证明。

本次只检查了 SQLite 内的事务
Python 在内存 SQLite 中建立任务表和待发布表。在同一事务插入任务 A 与其待发布行,查询确认两者存在。第二组先插入任务 B,再故意写入重复的待发布主键,引发完整性错误;事务退出后,任务 B 不存在,原来的 A 及待发布行保持不变。
断言通过。夹具假设 broker 待消费数为零,但没有连接任何 broker;测试没有发布、确认、磁盘恢复或节点重启,也不证明真实系统具备最终投递保证。它只验证两张表在本次 SQLite 事务中的提交与回滚关系。
发布器恢复应保留可追踪身份
每次发布携带稳定任务身份,并保留必要的尝试记录,便于将本地记录与消息及执行结果关联。若发生确认不明,按系统契约重新核对或重投,不要为了消除待发布计数就先删除记录。
消费者收到消息后仍要核对任务是否允许执行,并对重复效果采取相应保护。任务已经取消或完成时,旧消息不应重新创造一个无关任务。
空队列是一个观察结果
排查目标不是把每个数字都清零,而是解释任务从创建到终态经过了哪些阶段。先找出停在发布之前的任务,再调查发布器是否运行、失败原因和恢复入口,才不会把问题全部推给消费者。
参考资料(2026-10-20,沿用已核对官方说明):Python sqlite3 连接上下文管理、RabbitMQ 发布确认。跨系统发布设计是本文应用示例,未执行消息系统验证。
转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/dicky_zhang3/article/details/170780426




