如何使用分区处理MySQL的亿级数据优化

 更新时间:2021年06月16日 15:14:44   作者:godzla  
mysql在查询上千万级数据的时候,通过索引可以解决大部分查询优化问题。但是在处理上亿数据的时候,应该怎么解决,本文就是用分区来优化一下,感兴趣的一起来了解一下

mysql在查询上千万级数据的时候,通过索引可以解决大部分查询优化问题。但是在处理上亿数据的时候,索引就不那么友好了。

数据表(日志)是这样的:

  • 表大小:1T,约24亿行;
  • 表分区:按时间分区,每个月为一个分区,一个分区约2-3亿行数据(40-70G左右)。

由于数据不需要全量处理,经过与需求方讨论后,我们按时间段抽样一部分数据,比如抽样一个月的数据,约3.5亿行。
数据处理的思路:

1)建表引擎选择Innodb。由于数据是按月分区的,我们将该月分区的数据单独copy出来,源表为myisam引擎,因我们可能需要过滤部分数据,涉及到筛选的字段又没有索引,使用myisam引擎加索引的速度会比较慢;
2)按日分区。将copy出来的表加好索引后(约2-4个小时),过滤掉无用的数据,同时再次新生成一张表,抽取json中需要的字段,并对该表按日分区。

CREATE TABLE `tb_name` (
  `id_`,
  ...,
  KEY `idx_1` (`create_user_`) 
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='应用日志'
PARTITION BY RANGE(to_days(log_time_)) (
    PARTITION p1231 VALUES LESS THAN (737425),
    PARTITION p0101 VALUES LESS THAN (737426),
    PARTITION p0102 VALUES LESS THAN (737427),
    PARTITION p0103 VALUES LESS THAN (737428),
    PARTITION p0104 VALUES LESS THAN (737429),
......
);

3)对上面生成的表按每日进行聚合或者其他操作,并将结果存储到临时表中,尽量使用存储过程加工数据,由于加工相对复杂而且耗时较多(跑一次存储过程需要大概1-2小时),因此循环调用存储过程时应记录操作时间和执行过程中的参数等;

delimiter $$
create procedure proc_name(param varchar(50))
begin
 declare start_date date;
    declare end_date date;
    set start_date = '2018-12-31';
    set end_date = '2019-02-01';
    
    start transaction;
 truncate tmp_talbe;
 commit;
    
    while start_date < end_date do
  set @partition_name = date_format(start_date, '%m%d');
        set @start_time = now(); -- 记录当前分区操作起始时间
        
  start transaction;
  set @sqlstr = concat(
   "insert into tmp_talbe",
   "select field_names ",
            "from tb_name partition(p", @partition_name,") t ",
            "where conditions;"
   );
  -- select @sqlstr;
  prepare stmt from @sqlstr;  
  execute stmt;
  deallocate prepare stmt;
  commit;
        
        -- 插入日志
        set @finish_time = now(); -- 操作结束时间
        insert into oprerate_log values(param, @partition_name, @start_time, @finish_time, timestampdiff(second, @start_time, @finish_time));
        
  set start_date = date_add(start_date, interval 1 day);
    end while;
end
$$
delimiter ;

4)对上述生成的结果进行整理加工。

总的来说,处理过程相对繁琐,而且产生了很多中间表,对关键步骤还需要记录操作流程的元数据,这对SQL处理的要求会比较高,因此不建议使用MySQL处理这种任务(除非迫不得已),如果能将能处理过程放在大数据平台上处理,速度会更快,而且元数据管理会相对专业。

到此这篇关于如何使用分区处理MySQL的亿级数据优化的文章就介绍到这了,更多相关MySQL 亿级数据优化内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • MySQL全量备份的实现

    MySQL全量备份的实现

    全量备份是MySQL数据库备份的常见方式,本文主要介绍了MySQL全量备份的实现,全量备份和增量备份是 MySQL 数据库备份的两种常见方式
    2024-04-04
  • mysql误删数据后快速恢复的办法推荐

    mysql误删数据后快速恢复的办法推荐

    手抖不小心把表里的数据删除或修改错误怎么办?该如何快速恢复呢?遇到这样的问题怎么办?下面这篇文章主要给大家介绍了关于mysql误删数据后快速恢复的相关资料,需要的朋友可以参考下
    2023-02-02
  • mysql索引使用率监控技巧(值得收藏!)

    mysql索引使用率监控技巧(值得收藏!)

    这篇文章主要给大家介绍了关于mysql索引使用率监控技巧的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用mysql具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-09-09
  • MySQL max_allowed_packet的坑

    MySQL max_allowed_packet的坑

    max_allowed_packet是 MySQL 中的一个设定参数,用于设定所接受的包的大小,根据情形不同,其缺省值可能是 1M 或者 4M,本文主要介绍了MySQL max_allowed_packet的坑,感兴趣的可以了解一下
    2024-01-01
  • MySQL需要根据特定顺序排序的实现方法

    MySQL需要根据特定顺序排序的实现方法

    在MySQL中,我们可以通过指定顺序排序来在查询结果中控制数据的排列顺序,这种排序方式是非常有用的,本文就来介绍一下,感兴趣的可以了解一下
    2023-11-11
  • CentOS6.9+Mysql5.7.18源码安装详细教程

    CentOS6.9+Mysql5.7.18源码安装详细教程

    CentOS6.9+Mysql5.7.18源码安装,以下操作均在root用户下执行。下面通过本教程给大家详细介绍CentOS6.9+Mysql5.7.18源码安装方法,需要的的朋友参考下吧
    2017-06-06
  • mysql now()函数调用系统时间不对的解决方法

    mysql now()函数调用系统时间不对的解决方法

    mysql的now()函数与实际时间不符,本文就详细的介绍一下mysql now()函数调用系统时间不对的解决方法,非常具有实用价值,需要的朋友可以参考下
    2023-05-05
  • 关于Mysql8.0版本驱动getTables返回所有库的表问题浅析

    关于Mysql8.0版本驱动getTables返回所有库的表问题浅析

    这篇文章主要给大家介绍了关于Mysql 8.0版本驱动getTables返回所有库的表问题的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2018-12-12
  • mysql安装navicat之后,出现2059,Authentication plugin及本地链接虚拟机docker,远程链接服务器

    mysql安装navicat之后,出现2059,Authentication plugin及本地链接虚拟机docker,

    这篇文章主要介绍了mysql安装navicat之后,出现2059,Authentication plugin及本地链接虚拟机docker,远程链接服务器,需要的朋友可以参考下
    2020-06-06
  • MySQL 分组查询的优化方法

    MySQL 分组查询的优化方法

    这篇文章主要介绍了MySQL 分组查询的优化方法,帮助大家更好的理解和学习使用MySQL,感兴趣的朋友可以了解下
    2021-05-05

最新评论