sql语句去除重复记录(使用SQL语句去掉重复的记录两种方法)
类别:数据库 浏览量:2182
时间:2021-10-27 10:31:14 sql语句去除重复记录
使用SQL语句去掉重复的记录两种方法海量数据(百万以上),其中有些全部字段都相同,有些部分字段相同,怎样高效去除重复?
如果要删除手机(mobilePhone),电话(officePhone),邮件(email)同时都相同的数据,以前一直使用这条语句进行去重:
delete from 表 where id not in (select max(id) from 表 group by mobilePhone,officePhone,email ) or delete from 表 where id not in (select min(id) from 表 group by mobilePhone,officePhone,email ) delete from 表 where id not in (select max(id) from 表 group by mobilePhone,officePhone,email ) or delete from 表 where id not in (select min(id) from 表 group by mobilePhone,officePhone,email )
其中下面这条会稍快些。上面这条数据对于100万以内的数据效率还可以,重复数1/5的情况下几分钟到几十分钟不等,但是如果数据量达到300万以上,效率骤降,如果重复数据再多点的话,常常会几十小时跑不完,有时候会锁表跑一夜都跑不完。无奈只得重新寻找新的可行方法,今天终于有所收获:
//查询出唯一数据的ID,并把他们导入临时表tmp中 select min(id) as mid into tmp from 表 group by mobilePhone,officePhone,email //查询出去重后的数据并插入finally表中 insert into finally select (除ID以外的字段) from customers_1 where id in (select mid from tmp) //查询出唯一数据的ID,并把他们导入临时表tmp中 select min(id) as mid into tmp from 表 group by mobilePhone,officePhone,email //查询出去重后的数据并插入finally表中 insert into finally select (除ID以外的字段) from customers_1 where id in (select mid from tmp)
效率对比:用delete方法对500万数据去重(1/2重复)约4小时。4小时,很长的时间。
用临时表插入对500万数据去重(1/2重复)不到10分钟。
其实用删除方式是比较慢的,可能是边找边删除的原因吧,而使用临时表,可以将没有重复的数据ID选出来放在临时表里,再将表的信息按临时表的选择出来的ID,将它们找出来插入到新的表,然后将原表删除,这样就可以快速去重啦。
SQL语句去掉重复记录,获取重复记录
按照某几个字段名称查找表中存在这几个字段的重复数据并按照插入的时间先后进行删除,条件取决于order by 和row_num。
方法一按照多条件重复处理:
delete tmp from( select row_num = row_number() over(partition by 字段,字段 order by 时间 desc) from 表 where 时间> getdate()-1 ) tmp where row_num > 1 delete tmp from( select row_num = row_number() over(partition by 字段,字段 order by 时间 desc) from 表 where 时间> getdate()-1 ) tmp where row_num > 1
方法二按照单一条件进行去重:
delete from 表 where 主键ID not in( select max(主键ID) from 表 group by 需要去重的字段 having count(需要去重的字段)>=1 ) delete from 表 where 主键ID not in( select max(主键ID) from 表 group by 需要去重的字段 having count(需要去重的字段)>=1 )
注意:为提高效率如上两个方法都可以使用临时表, not in 中的表可以先提取临时表#tmp,
然后采用not exists来执行,为避免数量过大,可批量用Top控制删除量
delete top(2) from 表 where not exists (select 主键ID from #tmp where #tmp.主键ID=表.主键ID)
总结
以上所述是小编给大家介绍的使用SQL语句去掉重复的记录,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对开心学习网网站的支持!
您可能感兴趣
- mysql利用数据库日志恢复数据(MySQL通过binlog恢复数据)
- docker创建mysql环境(docker上部署MySQL的示例)
- 何谓SQLSERVER参数嗅探问题(何谓SQLSERVER参数嗅探问题)
- mysql创建数据库基本指令(MySql 新建用户与数据库的实际操作步骤)
- 利用xampp搭建服务器(xampp集成环境怎样使用MySQL数据库)
- Sql Server锁的粒度
- mysqldump导入导出(MySQL官方导出工具mysqlpump的使用)
- sql server 2008 触发器(关于喜忧参半的SQL Server触发器详解)
- navicat怎么导入sql数据库文件(Navicat导出.sql文件方法)
- mysql exists的用法(Mysql exists用法小结)
- mysqlinnodb数据存储格式(MySQL InnoDB ReplicaSet副本集简单介绍)
- mysql 多表连接查询(MySQL多表查询的具体实例)
- mysql定时任务
- Sql Server常用系统存储过程
- dedecms栏目怎么调用友情链(DedeCms用SQL语句调用数据库任意内容方法)
- sqlserver表分区步骤(行转列之SQL SERVER PIVOT与用法详解)
- 仙女们的私藏鲜法大PK 鲜香切块牛肉(仙女们的私藏鲜法大PK)
- 天热没胃口 这道菜开胃又下饭,2个小技巧新手一学就会(这道菜开胃又下饭)
- 指天椒紫苏爆炒牛肉(指天椒紫苏爆炒牛肉)
- 谷雨前,吃牛羊肉别忘了吃河鲜,除湿还清热,加紫苏一炒特解馋(吃牛羊肉别忘了吃河鲜)
- 紫苏牛肉锅里滚一滚,香的鼻子都要掉了(紫苏牛肉锅里滚一滚)
- 每天都吃水果的好处(每天吃水果的好处与功效)
热门推荐
- vue封装组件技巧(浅谈vue中所有的封装方式总结)
- python中for循环计算1-100(python 用for循环实现1~n求和的实例)
- rabbitmq延迟队列原理(Rabbitmq heartbea心跳检测机制原理解析)
- 使用react生命周期的常见情况(react+ts实现简单jira项目的最佳实践记录)
- dedecms独立页面怎么加(DEDECMS实现文章tag关键词自动生成列表页的方法)
- python矩阵怎么生成(python实现矩阵打印)
- vue请求token无效(关于Vue 消除Token过期时刷新页面的重复提示问题)
- mysql查询分区语句(MySQL中 and or 查询的优先级分析)
- canvas俄罗斯方块(JavaScript canvas实现俄罗斯方块游戏)
- flask项目微信小程序(Python Flask 搭建微信小程序后台详解)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9