SQL去重的3种实用方法总结

 更新时间:2022年10月26日 09:29:57   作者:1024小神  
SQL去重是数据分析工作中比较常见的一个场景,下面这篇文章主要给大家介绍了关于SQL去重的3种实用方法的相关资料,文中通过图文以及实例代码介绍的非常详细,需要的朋友可以参考下

SQL去重的三种方法汇总​ 

这里的去重是指:查询的时候, 不显示重复,并不是删除表中的重复项

1.distinct去重

注意的点:distinct

只能一列去重,当distinct后跟大于1个参数时,他们之间的关系是&&(逻辑与)关系,只有全部条件相同才会去重

弊端:当查询的字段比较多时,distinct会作用多个字段,导致去重条件增多

select distinct UserResult from Table1

2.group by去重

去重原理:将重复的行进行分组,相同的数据只显示第一行

弊端:使用group by后,所有查询字段都需要使用聚合函数,比较繁琐

select min(UserName)UserName,min(UserSex)UserSex,min(UserSubject)UserSubject,min(UserResult)UserResult from Table1
group by UserResult

3.row_number() over (parttion by 分组列 order by 排序列)

弊端:小孟还不知道

去重原理:现根据重复列进行分组,分组后再进行排序,不同的组序号为1,相同的组序号为2,排除为2的就达到了去重效果

select *from
(
--查询出重复行
select *,row_number() over (partition by UserResult order by UserResult desc)num from Table1
)A
where A.num=1

这里安利第三个,row_number(),稳一些!

补充:SQL根据某列或几列分组去重——row_number() over(partition by)的用法

有时利用SQL进行数据处理会发现,要根据某列或某几列选取信息,由于其他列不同而出现了多次,如运行程序1的结果图1:

程序1:

--程序1:要解决的问题
select a.*
  from AShareEarningEst a
 where a.S_INFO_WINDCODE in ('000650.SZ')
   and a.REPORTING_PERIOD = 20181231
order by a.RESEARCH_INST_NAME,a.EST_DT

我们看到,在AShareEarningEst(中国A股盈利预测明细)表中,共有12人次的证券公司研究员,对000650.SZ(仁和药业)公司的20181231报告期进行预测。例:华泰证券的杨烨辉在20160420、20160428和20160622分别对000650.SZ(仁和药业)发布研究报告进行了预测。现在,我们只需要同一家证券公司的同一个研究员(此处假定同一家证券公司的研究员姓名相同时,即为同一个研究员)做出的最新预测数据,即根据证券公司名称、研究员姓名,同时根据估计日期进行筛选。

此时,可根据row_number() over(partition by)进行处理,运行程序2结果如图2:

程序2:

--程序2:最终解决问题的程序
select b.*
from (select row_number() over(partition by a.RESEARCH_INST_NAME,
              a.ANALYST_NAME order by est_dt desc) as rn,
             --根据RESEARCH_INST_NAME(证券公司名称)和ANALYST_NAME(研究员名字)进行分类,
             --同时根据est_dt(估计日期)倒序排序,即最新日期排在同一分类的上方,此时构建出rn为
             a.*
        from wdzx.AShareEarningEst a
       where a.S_INFO_WINDCODE in ('000650.SZ') --, '000951.SZ', '600006.SH', '600166.SH')
         and a.REPORTING_PERIOD = 20181231) b --将分类后的程序构成表b。可以先运行b的程序观察结果
       where b.rn = 1--运用表b的结果进行子查询,rn=1即为所需结果

此时,即主要利用了row_number() over(partition by)函数筛选出了去重后的结果。

总结

到此这篇关于SQL去重的3种实用方法的文章就介绍到这了,更多相关SQL去重内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • MYSQL事务回滚的2个问题分析

    MYSQL事务回滚的2个问题分析

    在事务中,每个正确的原子操作都会被顺序执行,直到遇到错误的原子操作,此时事务会将之前的操作进行回滚。回滚的意思是如果之前是插入操作,那么会执行删 除插入的记录,如果之前是update操作,也会执行update操作将之前的记录还原
    2014-05-05
  • mysql中的保留字段产生的问题

    mysql中的保留字段产生的问题

    我们在使用mysql的时候要注意这方面的问题,一个因为数据库字段命名不当造成的问题检查起来还是相当麻烦的,今天遇到这种问题,花费了很长时间才找到问题所在,这是无语
    2015-04-04
  • 查找MySQL线程中死锁的ID的方法

    查找MySQL线程中死锁的ID的方法

    这篇文章主要介绍了查找MySQL线程中死锁的ID的方法,文中介绍的方法主要是从数据字典里查找,需要的朋友可以参考下
    2015-05-05
  • Linux 安装JDK Tomcat MySQL的教程(使用Mac远程访问)

    Linux 安装JDK Tomcat MySQL的教程(使用Mac远程访问)

    这篇文章主要介绍了Linux 安装JDK Tomcat MySQL(使用Mac远程访问),本文图文并茂给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2018-06-06
  • mysql中找不到my.ini文件的问题及解决

    mysql中找不到my.ini文件的问题及解决

    这篇文章主要介绍了mysql中找不到my.ini文件的问题及解决方案,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-08-08
  • 深入理解MySQL重做日志 redo log

    深入理解MySQL重做日志 redo log

    redo log:被称为物理日志,记录的就是最终修改后的按页面存储的数据页,直接存数据最终的状态,用于确保事务的持久性,本文主要介绍了MySQL重做日志 redo log,感兴趣的了解一下
    2022-04-04
  • Windows 下 MySQL 8.X 的安装教程

    Windows 下 MySQL 8.X 的安装教程

    这篇文章主要介绍了Windows 下 MySQL 8.X 的安装教程,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-11-11
  • SQL实现数据过滤流程详解

    SQL实现数据过滤流程详解

    这篇文章主要介绍了SQL实现数据过滤流程,当我们在SQL中查询数据时,肯定是有一些数据是我们不需要的,所以我们此时就要对数据进行过滤,以筛选出我们仅需要的数据
    2023-01-01
  • 详解记录MySQL中lower_case_table_names的坑

    详解记录MySQL中lower_case_table_names的坑

    这篇文章主要介绍了详解记录MySQL中lower_case_table_names的坑,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-03-03
  • MySQL5绿色版windows下安装总结(推荐)

    MySQL5绿色版windows下安装总结(推荐)

    这篇文章主要介绍了MySQL5绿色版windows下安装总结,需要的朋友可以参考下
    2017-03-03

最新评论