脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 数据库 → PostgreSQL → postgresql重复数据删除

postgresql 删除重复数据的几种方法小结

 更新时间：2021年02月05日 10:03:30   作者：arcticJian  
这篇文章主要介绍了postgresql 删除重复数据的几种方法小结，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

在使用PG数据库的这段时间，总结了三种删除重复数据的方法，其中最容易想到的就是最常规的删除方法，但此方法性能较差，删数据耗时较久，虽容易实现，但性能太差，影响写数据的速率。

另外就是被使用的group by删除方法，效率较高。

还有一种是刚发现的，还没有验证，现在就总结下这三种删除方法，并验证各自的执行效率。

首先创建一张基础表，并插入一定量的重复数据。

  test=# create table deltest(id int, name varchar(255));
  CREATE TABLE
  test=# create table deltest_bk (like deltest);
  CREATE TABLE
  test=# insert into deltest select generate_series(1, 10000), 'ZhangSan';
  INSERT 0 10000
  test=# insert into deltest select generate_series(1, 10000), 'ZhangSan';
  INSERT 0 10000
  test=# insert into deltest_bk select * from deltest;

常规删除方法

最容易想到的方法就是判断数据是否重复，对于重复的数据只保留ctid最小（或最大）的那条数据，删除其他的数据。

test=# explain analyse delete from deltest a where a.ctid <> (select min(t.ctid) from deltest t where a.id=t.id);
                               QUERY PLAN
  -----------------------------------------------------------------------------------------------------------------------------
  Delete on deltest a (cost=0.00..195616.30 rows=1518 width=6) (actual time=67758.866..67758.866 rows=0 loops=1)
    -> Seq Scan on deltest a (cost=0.00..195616.30 rows=1518 width=6) (actual time=32896.517..67663.228 rows=10000 loops=1)
     Filter: (ctid <> (SubPlan 1))
     Rows Removed by Filter: 10000
     SubPlan 1
      -> Aggregate (cost=128.10..128.10 rows=1 width=6) (actual time=3.374..3.374 rows=1 loops=20000)
         -> Seq Scan on deltest t (cost=0.00..128.07 rows=8 width=6) (actual time=0.831..3.344 rows=2 loops=20000)
            Filter: (a.id = id)
            Rows Removed by Filter: 19998
  Total runtime: 67758.931 ms
  test=# select count(*) from deltest;
  count
  -------
  10000
  (1 行记录)

可以看到，id相同的数据，保留ctid最小的那条，其他的删除。相当于把deltest表中的数据删掉一半，耗时达到67s多。相当慢。

group by删除方法

第二种方法为group by方法，通过分组找到ctid最小的数据，然后删除其他数据。

  test=# truncate table deltest;
  TRUNCATE TABLE
  test=# insert into deltest select * from deltest_bk;
  INSERT 0 20000
  test=# explain analyse delete from deltest a where a.ctid not in (select min(ctid) from deltest group by id);
                               QUERY PLAN
  ----------------------------------------------------------------------------------------------------------------------------------
  Delete on deltest a (cost=131.89..2930.46 rows=763 width=6) (actual time=30942.496..30942.496 rows=0 loops=1)
    -> Seq Scan on deltest a (cost=131.89..2930.46 rows=763 width=6) (actual time=10186.296..30814.366 rows=10000 loops=1)
     Filter: (NOT (SubPlan 1))
     Rows Removed by Filter: 10000
     SubPlan 1
      -> Materialize (cost=131.89..134.89 rows=200 width=10) (actual time=0.001..0.471 rows=7500 loops=20000)
         -> HashAggregate (cost=131.89..133.89 rows=200 width=10) (actual time=10.568..13.584 rows=10000 loops=1)
            -> Seq Scan on deltest (cost=0.00..124.26 rows=1526 width=10) (actual time=0.006..3.829 rows=20000 loops=1)
   Total runtime: 30942.819 ms
  (9 行记录)
  test=# select count(*) from deltest;
   count
  -------
  10000
  (1 行记录)

可以看到同样是删除一半的数据，使用group by的方式，时间节省了一半。但仍含需要30s，下面试一下第三种删除操作。

新的删除方法

在postgres修炼之道这本书中，作者提到一种效率较高的删除方法， 在这里验证一下，具体如下：

  test=# truncate table deltest;
  TRUNCATE TABLE
  test=# insert into deltest select * from deltest_bk;
  INSERT 0 20000                             
  test=# explain analyze delete from deltest a where a.ctid = any(array (select ctid from (select row_number() over (partition by id), ctid from deltest) t where t.row_number > 1));
                               QUERY PLAN
  ----------------------------------------------------------------------------------------------------------------------------------
  Delete on deltest a (cost=250.74..270.84 rows=10 width=6) (actual time=98.363..98.363 rows=0 loops=1)
  InitPlan 1 (returns $0)
   -> Subquery Scan on t (cost=204.95..250.73 rows=509 width=6) (actual time=29.446..47.867 rows=10000 loops=1)
      Filter: (t.row_number > 1)
      Rows Removed by Filter: 10000
      -> WindowAgg (cost=204.95..231.66 rows=1526 width=10) (actual time=29.436..44.790 rows=20000 loops=1)
         -> Sort (cost=204.95..208.77 rows=1526 width=10) (actual time=12.466..13.754 rows=20000 loops=1)
            Sort Key: deltest.id
            Sort Method: quicksort Memory: 1294kB
            -> Seq Scan on deltest (cost=0.00..124.26 rows=1526 width=10) (actual time=0.021..5.110 rows=20000 loops=1)
  -> Tid Scan on deltest a (cost=0.01..20.11 rows=10 width=6) (actual time=82.983..88.751 rows=10000 loops=1)
     TID Cond: (ctid = ANY ($0))
  Total runtime: 98.912 ms
  (13 行记录)
  test=# select count(*) from deltest;
  count
  -------
  10000
  (1 行记录)

看到上述结果，真让我吃惊了一把，这么快的删除方法还是首次看到，自己真实孤陋寡闻，在这里要膜拜一下修炼之道这本书的大神作者了。

补充：pgsql 删除表中重复数据保留其中的一条

1.在表中(表名：table 主键:id)增加一个字段rownum,类型为serial

2.执行语句：

delete from table where rownum not in( 
select max(rownum) from table group by id 
)

3.最后删除rownum

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。如有错误或未考虑完全的地方，望不吝赐教。

您可能感兴趣的文章:

相关文章

  • psql除法保留小数,实现向上取整和向下取整操作

    psql除法保留小数,实现向上取整和向下取整操作

    这篇文章主要介绍了psql除法保留小数,实现向上取整和向下取整操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2021-01-01
  • PostgreSQL配置远程连接简单图文教程

    PostgreSQL配置远程连接简单图文教程

    这篇文章主要给大家介绍了关于PostgreSQL配置远程连接的相关资料,PostgreSQL是一个功能非常强大的关系型数据库管理系统(RDBMS),文中通过代码介绍的非常详细,需要的朋友可以参考下
    2023-12-12
  • postgresql多选功能实现代码

    postgresql多选功能实现代码

    这篇文章主要介绍了postgresql多选功能实现代码,本文通过实例代码给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧
    2024-03-03
  • PostgreSQL去掉表中所有不可见字符的操作

    PostgreSQL去掉表中所有不可见字符的操作

    这篇文章主要介绍了PostgreSQL去掉表中所有不可见字符的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12
  • postgresql开启pg_log日志详细步骤及参数说明

    postgresql开启pg_log日志详细步骤及参数说明

    pg_log日志要启动保存的话需要去设置一下相关的配置文件参数就好了,下面这篇文章主要给大家介绍了关于postgresql开启pg_log日志详细步骤及参数说明的相关资料,需要的朋友可以参考下
    2024-02-02
  • PostgreSQL部署逻辑复制过程详解

    PostgreSQL部署逻辑复制过程详解

    这篇文章主要介绍了PostgreSQL部署逻辑复制过程详解,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧
    2024-04-04
  • Postgresql开启SQL执行语句收集过程

    Postgresql开启SQL执行语句收集过程

    本文介绍如何修改PostgreSQL的配置文件来启用SQL执行语句的日志记录,包括打开配置文件、修改日志相关设置以及查看日志文件的方法,关键步骤包括删除注释符号、设定日志存储路径和文件名、选择记录的SQL语句类型,此操作有助于数据库管理和问题调试
    2024-10-10
  • Windows下Postgresql数据库的下载与配置方法

    Windows下Postgresql数据库的下载与配置方法

    这篇文章主要介绍了Windows下Postgresql数据库的下载与配置方法 ,需要的朋友可以参考下
    2014-06-06
  • postgresql 导出建表语句的命令操作

    postgresql 导出建表语句的命令操作

    这篇文章主要介绍了postgresql 导出建表语句的命令操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12
  • postgresql 实现更新序列的起始值

    postgresql 实现更新序列的起始值

    这篇文章主要介绍了postgresql 实现更新序列的起始值，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12

最新评论