postgresql实现对已有数据表分区处理的操作详解

 更新时间:2023年12月21日 08:28:10   作者:用户3919820697669  
这篇文章主要为大家详细介绍了postgresql实现对已有数据表分区处理的操作的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下

背景:业务初期创建的一张表,有 20 个字段,没有超长超大字段。随着系统运行,数据量来到了将近 1.3 亿行约 60GB。目前整体稳定,考虑到后续数据持续增长,打算先对表进行分区处理。考虑分区的主要因素是,这张表的数据主要是插入,和对最近插入数据的查询,后续会有少量针对该表的全量查询操作。

一、对已有数据进行备份

创建备份表并将所有的数据备份到 t_test_back 表里。这种方式备份,只会复制表结构和表数据,不会包含索引和约束。并且这种方式不会涉及到加锁等操作,整体执行很快,60GB 的数据大概在 5 分钟左右备份完成。

create table public.t_test_back as (select * from public.t_test);

二、删除原表

删除原表之前,记得先保留好建表语句,原表索引和约束,原建表语句如下:

CREATE TABLE public.t_test (
    id bigserial NOT NULL,
    column1 int8 NOT NULL,
    column2 varchar NOT NULL,
    column3 varchar NULL,
    create_time timestamptz NULL,
    CONSTRAINT t_test_pkey PRIMARY KEY (id)
);

CREATE INDEX column1_idx ON public.t_test USING btree (column1);
CREATE INDEX column2_idx ON public.t_test USING btree (column2);

删除原表直接使用 drop 语句:

drop table public.t_test;

我执行的时候,大概十分钟没有反应,最后查询检查 pg_stat_activity 视图,发现 public.t_test 还有 active sql 执行。

通过下面的方式,将在执行中的 sql 全部中断掉。

-- 找到当前表还在执行的查询
select pid, query, state from pg_stat_activity where state = 'state' and query like '%t_test%';
-- 可以取消查询
select pg_cancel_backend(pid);
-- 也可以强制中止会话
select pg_terminate_backend(pid);

将执行中的查询取消后,drop 操作很快完成,正常执行预估也是在 5 分钟左右能执行完成。

三、创建分区表

根据原表建表语句创建分区表,其中分区字段需要作为pk的一部分,我使用时间字段 create_timerange 分区:

CREATE TABLE public.t_test (
    id bigserial NOT NULL,
    column1 int8 NOT NULL,
    column2 varchar NOT NULL,
    column3 varchar NULL,
    create_time timestamptz NOT null DEFAULT CURRENT_TIMESTAMP,
    CONSTRAINT t_test_pkey PRIMARY KEY (id, create_time)
) partition by range(create_time);

我这里一年的数据量大概是 8 千万,我按照半年一个分区建表,最后有一个 DEFAULT 的分区表,用来存储分区以外的数据:

create table public.t_test_2022_02 partition of public.t_test for values from ('2022-06-01 00:00:00') to ('2022-12-31 23:59:59');

create table public.t_test_2023_01 partition of public.t_test for values from ('2023-01-01 00:00:00') to ('2023-06-30 23:59:59');
create table public.t_test_2023_02 partition of public.t_test for values from ('2023-07-01 00:00:00') to ('2023-12-31 23:59:59');

create table public.t_test_2024_01 partition of public.t_test for values from ('2024-01-01 00:00:00') to ('2024-06-30 23:59:59');
create table public.t_test_2024_02 partition of public.t_test for values from ('2024-07-01 00:00:00') to ('2024-12-31 23:59:59');

create table public.t_test_default partition of public.t_test DEFAULT;

我这里将原来的索引直接用在分区表的主表上:

CREATE INDEX column1_idx ON public.t_test USING btree (column1);
CREATE INDEX column2_idx ON public.t_test USING btree (column2);

由于我使用的 postgresqlserial 类型做 id 字段的自增序列,所以还需要将序列的最新值更新到比之前表的最大 id 还要大。防止主键冲突。

alter sequence public.t_test_id_seq restart 340000000;

四、数据恢复

由于我的表的数据主要使用的是增量数据,所以我把 id 最大的一条数据插入数据库表后,就可以恢复服务。 最后用 sql 将剩余的数据插入新表即可:

insert into public.t_test (select * from public.t_test_back);

到此这篇关于postgresql实现对已有数据表分区处理的操作详解的文章就介绍到这了,更多相关postgresql数据表分区处理内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 对PostgreSQL中的慢查询进行分析和优化的操作指南

    对PostgreSQL中的慢查询进行分析和优化的操作指南

    在数据库的世界里,慢查询就像是路上的绊脚石,让数据处理的道路变得崎岖不平,想象一下,你正在高速公路上飞驰,突然遇到一堆减速带,那感觉肯定糟透了,本文介绍了怎样对 PostgreSQL 中的慢查询进行分析和优化,需要的朋友可以参考下
    2024-07-07
  • PostgreSQL教程(五):函数和操作符详解(1)

    PostgreSQL教程(五):函数和操作符详解(1)

    这篇文章主要介绍了PostgreSQL教程(五):函数和操作符详解(1),本文讲解了逻辑操作符、比较操作符、数学函数和操作符、三角函数列表、字符串函数和操作符等内容,需要的朋友可以参考下
    2015-05-05
  • PostgreSQL upsert(插入更新)数据的操作详解

    PostgreSQL upsert(插入更新)数据的操作详解

    这篇文章主要介绍了PostgreSQL upsert(插入更新)教程详解,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-01-01
  • PostgreSQL 性能优化之服务器参数配置操作

    PostgreSQL 性能优化之服务器参数配置操作

    这篇文章主要介绍了PostgreSQL 性能优化之服务器参数配置操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-01-01
  • postgres主备切换之文件触发方式详解

    postgres主备切换之文件触发方式详解

    这篇文章主要介绍了postgres主备切换之文件触发方式详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12
  • 解析PostgreSQL中Oid和Relfilenode的映射问题

    解析PostgreSQL中Oid和Relfilenode的映射问题

    这篇文章主要介绍了PostgreSQL中Oid和Relfilenode的映射问题,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-01-01
  • CVE-2019-9193之PostgreSQL 任意命令执行漏洞的问题

    CVE-2019-9193之PostgreSQL 任意命令执行漏洞的问题

    这篇文章主要介绍了CVE-2019-9193:PostgreSQL 任意命令执行漏洞,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-08-08
  • postgres array_to_string和array的用法讲解

    postgres array_to_string和array的用法讲解

    这篇文章主要介绍了postgres array_to_string和array的用法讲解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-01-01
  • Postgresql备份和增量恢复方案

    Postgresql备份和增量恢复方案

    这篇文章主要给大家介绍了关于Postgresql备份和增量恢复的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Postgresql具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2018-10-10
  • PostgreSQL教程(二):模式Schema详解

    PostgreSQL教程(二):模式Schema详解

    这篇文章主要介绍了PostgreSQL教程(二):模式Schema详解,本文讲解了创建模式、public模式、权限、删除模式、模式搜索路径等内容,需要的朋友可以参考下
    2015-05-05

最新评论