mysql高效导数据的方法讲解
更新时间：2013年09月28日 21:06:00 作者：
模拟现网测试，需要搭建测试环境，导入上亿级的数据到数据库。对于到的问题做些简单记录，有需要的朋友可以参考一下
数据：一个db，2000个表格，2000张表格数据，每条记录30个column，平均每张表格4.3w条记录，总共86388670条记录。
机器：linux 64bit 8G内存 4核IntelX3320@2.5GHz
基本思路：
mysql -utest -pxxxx -s -e "source xxxx.sql"
将load语句放在xxxx.sql中
load语法：
load data [low_priority] [local] infile 'file_name.txt' [replace | ignore]
如果串行导入数据，会很慢，考虑并行，但可能有冲突，解决办法：
load之前清空表
truncate table xxxx 或 delete from table xxxx;
或使用replace或ignore关键字。
机器：linux 64bit 8G内存 4核IntelX3320@2.5GHz
基本思路：
复制代码 代码如下:
mysql -utest -pxxxx -s -e "source xxxx.sql"
将load语句放在xxxx.sql中
load语法：
复制代码 代码如下:
load data [low_priority] [local] infile 'file_name.txt' [replace | ignore]
如果串行导入数据，会很慢，考虑并行，但可能有冲突，解决办法：
load之前清空表
复制代码 代码如下:
truncate table xxxx 或 delete from table xxxx;
或使用replace或ignore关键字。
相关文章
对于小的偏移量，直接使用limit来查询没有什么问题，但随着数据量的增大，越往后分页，limit语句的偏移量就会越大，速度也会明显变慢，接下来文章就向大家介绍其的原由，感兴趣的小伙伴可参考下面文章具体内容2021-09-09
事件调度器是在 MySQL 5.1 中新增的另一个特色功能，可以作为定时任务调度器，取代部分原先只能用操作系统任务调度器才能完成的定时功能。2010-06-06
这篇文章主要介绍了MySQL从命令行导入SQL脚本时出现中文乱码的解决方法,分析了中文乱码出现的原因并给出了两种解决方法供大家参考,需要的朋友可以参考下2016-09-09
mysql是我们经常会用到的一个数据库,mysql数据库中有一个主键生成规则,就是自增,这篇文章主要给大家介绍了关于pt-archiver和自增主键的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-04-04
基于一致性hash算法(consistent hashing)的使用详解
本篇文章对一致性hash算法(consistent hashing)的使用进行了详细的分析介绍。需要的朋友参考下2013-05-05
这篇文章主要介绍了mysql返回Boolean类型的几种情况，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-06-06
本文主要介绍了MySQL跨服务器关联查询的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-01-01
这篇文章先是通过一个实例给大家讲述在MySQL隐式类型的转换时遇到的陷阱，而后给大家介绍了MySQL隐式类型的规则，对大家操作mysql隐式类型的时候具有一定的参考借鉴价值，下面来一起看看吧。2016-09-09
解决The‘InnoDB’feature is disabled; you need MySQL built with ‘InnoDB’ to have it2011-09-09
今天小编就为大家分享一篇在MySQL中自定义参数的使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-11-11
最新评论