mysql 队列 实现并发读
更新时间：2012年04月24日 20:39:01 作者：
队列是常用的数据结构，基本特点就是先入先出，在事务处理等方面都要用到它，有的时候是带有优先级的队列。当队列存在并发访问的时候，比如多线程情况下，就需要锁机制来保证队列中的同一个元素不被多次获取
一个 MySQL 表可以看作是一个队列，每一行为一个元素。每次查询得到满足某个条件的最前面的一行，并将它从表中删除或者改变它的状态，使得下次查询不会得到它。在没有并发访问的情况下，简单地用 SELECT 得到一行，再用UPDATE(或者DELETE)语句修改之，就可以实现。
SELECT * FROM targets WHERE status='C' LIMIT 1;
UPDATE targets SET status='D' WHERE id='id';
如果有并发访问，在SELECT和UPDATE语句之间可能会存在其他地SELECT查询，导致同一行被取出多次。为了保证在并发情况下仍然能正常工作，一种思路是使用数据库地锁来防止，就像在多线程环境下所做地一样。总之，要是的查询和修改为一个原子操作，不被其它的访问干扰。MySQL 5 支持存储过程，可以用它来实现。
单条 UPDATE 语句应该原子操作的，可以利用这个特性来保证并发访问情况下队列的正常工作。每次取元素时，先用 UPDATE 修改符合条件的第一行，然后再得到该行。可惜 UPDATE 语句没有返回值，重新用普通的SELECT的话又很难找到刚被改过的那条记录。
这里用到一个小技巧：在 UPDATE 时加上 id=LAST_INSERT_ID(id)，再用 SELECT LAST_INSERT_ID() 即可得到刚修改的那条记录的id。还有一个问题，当表中不存在符合条件的记录，导致 UPDATE 失败时，LAST_INSERT_ID() 会保留原来地值不变，因而不能区分队列中是否还有元素。
ROW_COUNT() 返回上一个语句影响的行数，把它作为 SELECT 的一个条件，可以帮助解决这个问题。
最后，支持并发访问的完整解决方案为：
UPDATE targets SET status='D', id=LAST_INSERT_ID(id) WHERE status='C' LIMIT 1;
SELECT * FROM targets WHERE ROW_COUNT()>0 and id=LAST_INSERT_ID();
更新：在实现带优先级的队列时这种方法有问题，带有 ORDER BY ... 条件的 UPDATE 语句非常慢，例如：
而单独查询和更新则是很快的：
SELECT id FROM targets WHERE status='C' ORDER BY schedule ASC LIMIT 1;
UPDATE targets SET status='D' WHERE id='id';
原来这是MySQL的Bug-12915，一年多以前提出来的，虽然关闭了，却只解决了部分问题，尚不支持WHERE，见MySQL 5.0.15 的 Changlog。无奈，上面这种巧妙的方法也没有实用价值了。
最后采用了一种折衷方案，如下：
UPDATE targets, (SELECT id FROM targets WHERE status='C' AND schedule<CURRENT_TIMESTAMP ORDER BY schedule ASC LIMIT 1) tmp SET status='D' WHERE targets.id=LAST_INSERT_ID(tmp.id);
SELECT * FROM targets WHERE ROW_COUNT()>0 and id=LAST_INSERT_ID();
复制代码 代码如下:
SELECT * FROM targets WHERE status='C' LIMIT 1;
UPDATE targets SET status='D' WHERE id='id';
如果有并发访问，在SELECT和UPDATE语句之间可能会存在其他地SELECT查询，导致同一行被取出多次。为了保证在并发情况下仍然能正常工作，一种思路是使用数据库地锁来防止，就像在多线程环境下所做地一样。总之，要是的查询和修改为一个原子操作，不被其它的访问干扰。MySQL 5 支持存储过程，可以用它来实现。
单条 UPDATE 语句应该原子操作的，可以利用这个特性来保证并发访问情况下队列的正常工作。每次取元素时，先用 UPDATE 修改符合条件的第一行，然后再得到该行。可惜 UPDATE 语句没有返回值，重新用普通的SELECT的话又很难找到刚被改过的那条记录。
这里用到一个小技巧：在 UPDATE 时加上 id=LAST_INSERT_ID(id)，再用 SELECT LAST_INSERT_ID() 即可得到刚修改的那条记录的id。还有一个问题，当表中不存在符合条件的记录，导致 UPDATE 失败时，LAST_INSERT_ID() 会保留原来地值不变，因而不能区分队列中是否还有元素。
ROW_COUNT() 返回上一个语句影响的行数，把它作为 SELECT 的一个条件，可以帮助解决这个问题。
最后，支持并发访问的完整解决方案为：
复制代码 代码如下:
UPDATE targets SET status='D', id=LAST_INSERT_ID(id) WHERE status='C' LIMIT 1;
SELECT * FROM targets WHERE ROW_COUNT()>0 and id=LAST_INSERT_ID();
更新：在实现带优先级的队列时这种方法有问题，带有 ORDER BY ... 条件的 UPDATE 语句非常慢，例如：
复制代码 代码如下:
UPDATE targets SET status='D' WHERE status='C' ORDER BY schedule ASC LIMIT 1;
而单独查询和更新则是很快的：
复制代码 代码如下:
SELECT id FROM targets WHERE status='C' ORDER BY schedule ASC LIMIT 1;
UPDATE targets SET status='D' WHERE id='id';
原来这是MySQL的Bug-12915，一年多以前提出来的，虽然关闭了，却只解决了部分问题，尚不支持WHERE，见MySQL 5.0.15 的 Changlog。无奈，上面这种巧妙的方法也没有实用价值了。
最后采用了一种折衷方案，如下：
复制代码 代码如下:
UPDATE targets, (SELECT id FROM targets WHERE status='C' AND schedule<CURRENT_TIMESTAMP ORDER BY schedule ASC LIMIT 1) tmp SET status='D' WHERE targets.id=LAST_INSERT_ID(tmp.id);
SELECT * FROM targets WHERE ROW_COUNT()>0 and id=LAST_INSERT_ID();
相关文章
xtrabackup 是percona公司开源的MySQL innodb物理备份工具，支持在线热备（备份时不影响数据读写），在工具在业内生产上被大量使用，本次使用xtrabackup 备份的日志和数据库general 日志来对备份的流程和原理进行解读,需要的朋友可以参考下2022-12-12
这篇文章主要介绍了MySQL数据库主从复制原理并分析了主从复制的作用和使用方法，有需要的的朋友可以借鉴参考下，希望可以有所帮助，感谢阅读2021-09-09
在我们装mysql数据库时，出现安装失败是一件非常令人烦恼的事情，接下来小编就给大家带来在我们安装mysql数据库失败的一些解决方法，感兴趣的小伙伴们可以参考一下2016-05-05
在Linux环境下mysql的root密码忘记解决方法（三种）
这篇文章主要介绍了在Linux环境下mysql的root密码忘记解决方法,详细的介绍了3种解决办法，具有一定的参考价值，有兴趣的可以了解一下。2016-12-12
本文主要介绍了MySQL基于索引的压力测试的实现，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-11-11
Navicat Premium15连接云服务器中的数据库问题及遇到坑
这篇文章主要介绍了Navicat Premium15连接云服务器中的数据库问题及遇到坑，本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-03-03
这篇文章主要介绍了MYSQL大小写不敏感导致用户登录异常问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-04-04
数据库MySQL 是一种开源的关系型数据库管理系统，在进行 MySQL 数据库开发过程中，需要深入了解如何进行性能优化和复杂查询，以提高系统的效率和可靠性，本文介绍的非常详细，需要的朋友可以参考一下2023-04-04
这篇文章主要介绍了MySQL数据类型的相关资料，帮助大家更好的理解和使用MySQL数据库，感兴趣的朋友可以了解下2021-01-01
这篇文章主要介绍了MySQL5.6.40在CentOS7 64下安装过程,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-06-06
最新评论