脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 数据库 → Redis → MySQL迁移到Redis

从MySQL到Redis的简单数据库迁移方法

 更新时间：2015年06月30日 09:07:10   投稿：goldensun  
这篇文章主要介绍了从MySQL到Redis的简单数据库迁移方法,注意Redis数据库基于内存,并不能代替传统数据库,需要的朋友可以参考下

 从mysql搬一个大表到redis中，你会发现在提取、转换或是载入一行数据时，速度慢的让你难以忍受。这里我就要告诉一个让你解脱的小技巧。使用“管道输出”的方式把mysql命令行产生的内容直接传递给redis-cli，以绕过“中间件”的方式使两者在进行数据操作时达到最佳速度。

一个约八百万行数据的mysql表，原本导入到redis中需要90分钟，使用这个方法后，只需要两分钟。不管你信不信，反正我是信了。

Mysql到Redis的数据协议

redis-cli命令行工具有一个批量插入模式，是专门为批量执行命令设计的。这第一步就是把Mysql查询的内容格式化成redis-cli可用的数据格式。here we go!


我的统计表：
 

CREATE TABLE events_all_time (
 id int(11) unsigned NOT NULL AUTO_INCREMENT,
 action varchar(255) NOT NULL,
 count int(11) NOT NULL DEFAULT 0,
 PRIMARY KEY (id),
 UNIQUE KEY uniq_action (action)
);

准备在每行数据中执行的redis命令如下：
 
HSET events_all_time [action] [count]
按照以上redis命令规则，创建一个events_to_redis.sql文件，内容是用来生成redis数据协议格式的SQL：
 
-- events_to_redis.sql
 

SELECT CONCAT(
 "*4\r\n",
 '$', LENGTH(redis_cmd), '\r\n',
 redis_cmd, '\r\n',
 '$', LENGTH(redis_key), '\r\n',
 redis_key, '\r\n',
 '$', LENGTH(hkey), '\r\n',
 hkey, '\r\n',
 '$', LENGTH(hval), '\r\n',
 hval, '\r'
)
FROM (
 SELECT
 'HSET' as redis_cmd,
 'events_all_time' AS redis_key,
 action AS hkey,
 count AS hval
 FROM events_all_time
) AS t

ok, 用下面的命令执行：
 

mysql stats_db --skip-column-names --raw < events_to_redis.sql | redis-cli --pipe

很重要的mysql参数说明：

  • --raw: 使mysql不转换字段值中的换行符。
  • --skip-column-names: 使mysql输出的每行中不包含列名。
您可能感兴趣的文章:

相关文章

  • Redis监控工具RedisInsight安装与使用

    Redis监控工具RedisInsight安装与使用

    这篇文章主要为大家介绍了Redis监控工具RedisInsight的安装步骤与使用方法，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步
    2022-03-03
  • 浅谈redis缓存在项目中的使用

    浅谈redis缓存在项目中的使用

    最近由于项目需要,在系统缓存服务部分上用到了redis，本文就浅谈下在redis缓存在项目中的使用，感兴趣的小伙伴们可以参考一下
    2021-05-05
  • Redis对象与redisObject超详细分析源码层

    Redis对象与redisObject超详细分析源码层

    这篇文章主要介绍了Redis对象与redisObject源码层的分析，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习吧
    2022-11-11
  • Redis批量删除Key的三种方式小结

    Redis批量删除Key的三种方式小结

    本文主要介绍了Redis批量删除Key的三种方式小结，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2023-04-04
  • 详细分析Redis集群故障

    详细分析Redis集群故障

    这篇文章主要介绍了详细分析Redis集群故障的相关内容，具有一定的参考价值，这里分享给大家，供需要的朋友参考。
    2017-10-10
  • RedisDesktopManager无法远程连接Redis的完美解决方法

    RedisDesktopManager无法远程连接Redis的完美解决方法

    下载RedisDesktopManager客户端，输入服务器IP地址，端口（缺省值：6379）；点击Test Connection按钮测试连接，连接失败，怎么回事呢？下面小编给大家带来了RedisDesktopManager无法远程连接Redis的完美解决方法，一起看看吧
    2018-03-03
  • 解决 Redis 数据倾斜、热点等问题

    解决 Redis 数据倾斜、热点等问题

     单台机器的硬件配置有上限制约，一般我们会采用分布式架构将多台机器组成一个集群，这篇文章主要介绍了解决 Redis 数据倾斜、热点等问题,需要的朋友可以参考下
    2022-12-12
  • 本地访问不到公网redis的解决方案

    本地访问不到公网redis的解决方案

    本文详述了本地访问不到公网redis的解决方案,包括分析报错原因、Redis配置文件的区别、bind和protected-mode配置的解析,最终通过修改Redis配置文件及创建启动脚本解决了访问不到公网redis得问题,需要的朋友可以参考下
    2024-08-08
  • Redis事务处理的使用操作方法

    Redis事务处理的使用操作方法

    Redis保证一个事务中的所有命令要么都执行，要么都不执行(原子性)，如果客户端发送了EXEC命令，所有的命令就都会被执行，即使此后客户端断线也没关系，因为Redis中已经记录了所有要执行的命令，下面通过本文给大家介绍Redis事务处理的使用操作，感兴趣的朋友一起看看吧
    2021-10-10
  • 在Redis集群中使用pipeline批量插入的实现方法

    在Redis集群中使用pipeline批量插入的实现方法

    这篇文章主要介绍了在Redis集群中使用pipeline批量插入的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-05-05

最新评论