使用SQL語(yǔ)句去掉重復(fù)的記錄【兩種方法】
海量數(shù)據(jù)(百萬(wàn)以上),其中有些全部字段都相同,有些部分字段相同,怎樣高效去除重復(fù)?
如果要?jiǎng)h除手機(jī)(mobilePhone),電話(officePhone),郵件(email)同時(shí)都相同的數(shù)據(jù),以前一直使用這條語(yǔ)句進(jìn)行去重:
delete from 表 where id not in (select max(id) from 表 group by mobilePhone,officePhone,email ) or delete from 表 where id not in (select min(id) from 表 group by mobilePhone,officePhone,email ) delete from 表 where id not in (select max(id) from 表 group by mobilePhone,officePhone,email ) or delete from 表 where id not in (select min(id) from 表 group by mobilePhone,officePhone,email )
其中下面這條會(huì)稍快些。上面這條數(shù)據(jù)對(duì)于100萬(wàn)以內(nèi)的數(shù)據(jù)效率還可以,重復(fù)數(shù)1/5的情況下幾分鐘到幾十分鐘不等,但是如果數(shù)據(jù)量達(dá)到300萬(wàn)以上,效率驟降,如果重復(fù)數(shù)據(jù)再多點(diǎn)的話,常常會(huì)幾十小時(shí)跑不完,有時(shí)候會(huì)鎖表跑一夜都跑不完。無(wú)奈只得重新尋找新的可行方法,今天終于有所收獲:
//查詢出唯一數(shù)據(jù)的ID,并把他們導(dǎo)入臨時(shí)表tmp中 select min(id) as mid into tmp from 表 group by mobilePhone,officePhone,email //查詢出去重后的數(shù)據(jù)并插入finally表中 insert into finally select (除ID以外的字段) from customers_1 where id in (select mid from tmp) //查詢出唯一數(shù)據(jù)的ID,并把他們導(dǎo)入臨時(shí)表tmp中 select min(id) as mid into tmp from 表 group by mobilePhone,officePhone,email //查詢出去重后的數(shù)據(jù)并插入finally表中 insert into finally select (除ID以外的字段) from customers_1 where id in (select mid from tmp)
效率對(duì)比:用delete方法對(duì)500萬(wàn)數(shù)據(jù)去重(1/2重復(fù))約4小時(shí)。4小時(shí),很長(zhǎng)的時(shí)間。
用臨時(shí)表插入對(duì)500萬(wàn)數(shù)據(jù)去重(1/2重復(fù))不到10分鐘。
其實(shí)用刪除方式是比較慢的,可能是邊找邊刪除的原因吧,而使用臨時(shí)表,可以將沒(méi)有重復(fù)的數(shù)據(jù)ID選出來(lái)放在臨時(shí)表里,再將表的信息按臨時(shí)表的選擇出來(lái)的ID,將它們找出來(lái)插入到新的表,然后將原表刪除,這樣就可以快速去重啦。
SQL語(yǔ)句去掉重復(fù)記錄,獲取重復(fù)記錄
按照某幾個(gè)字段名稱查找表中存在這幾個(gè)字段的重復(fù)數(shù)據(jù)并按照插入的時(shí)間先后進(jìn)行刪除,條件取決于order by 和row_num。
方法一按照多條件重復(fù)處理:
delete tmp from( select row_num = row_number() over(partition by 字段,字段 order by 時(shí)間 desc) from 表 where 時(shí)間> getdate()-1 ) tmp where row_num > 1 delete tmp from( select row_num = row_number() over(partition by 字段,字段 order by 時(shí)間 desc) from 表 where 時(shí)間> getdate()-1 ) tmp where row_num > 1
方法二按照單一條件進(jìn)行去重:
delete from 表 where 主鍵ID not in( select max(主鍵ID) from 表 group by 需要去重的字段 having count(需要去重的字段)>=1 ) delete from 表 where 主鍵ID not in( select max(主鍵ID) from 表 group by 需要去重的字段 having count(需要去重的字段)>=1 )
注意:為提高效率如上兩個(gè)方法都可以使用臨時(shí)表, not in 中的表可以先提取臨時(shí)表#tmp,
然后采用not exists來(lái)執(zhí)行,為避免數(shù)量過(guò)大,可批量用Top控制刪除量
delete top(2) from 表 where not exists (select 主鍵ID from #tmp where #tmp.主鍵ID=表.主鍵ID)
總結(jié)
以上所述是小編給大家介紹的使用SQL語(yǔ)句去掉重復(fù)的記錄,希望對(duì)大家有所幫助,如果大家有任何疑問(wèn)請(qǐng)給我留言,小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)我們網(wǎng)站的支持!
上一篇:SQL Server數(shù)據(jù)庫(kù)設(shè)置自動(dòng)備份策略的完整步驟
欄 目:MsSql
下一篇:sql server學(xué)習(xí)基礎(chǔ)之內(nèi)存初探
本文標(biāo)題:使用SQL語(yǔ)句去掉重復(fù)的記錄【兩種方法】
本文地址:http://mengdiqiu.com.cn/a1/MsSql/10357.html
您可能感興趣的文章
- 01-10SQLServer存儲(chǔ)過(guò)程實(shí)現(xiàn)單條件分頁(yè)
- 01-10SQL Server 2012降級(jí)至2008R2的方法
- 01-10SQLServer中防止并發(fā)插入重復(fù)數(shù)據(jù)的方法詳解
- 01-10SQL Server數(shù)據(jù)庫(kù)定時(shí)自動(dòng)備份
- 01-10SQL Server性能調(diào)優(yōu)之緩存
- 01-10實(shí)現(xiàn)SQL Server 原生數(shù)據(jù)從XML生成JSON數(shù)據(jù)的實(shí)例代碼
- 01-10Sql Server 死鎖的監(jiān)控分析解決思路
- 01-10SqlServer 在事務(wù)中獲得自增ID的實(shí)例代碼
- 01-10SqlServer快速檢索某個(gè)字段在哪些存儲(chǔ)過(guò)程中(sql 語(yǔ)句)
- 01-10SQLServer性能優(yōu)化--間接實(shí)現(xiàn)函數(shù)索引或者Hash索引


閱讀排行
- 1C語(yǔ)言 while語(yǔ)句的用法詳解
- 2java 實(shí)現(xiàn)簡(jiǎn)單圣誕樹(shù)的示例代碼(圣誕
- 3利用C語(yǔ)言實(shí)現(xiàn)“百馬百擔(dān)”問(wèn)題方法
- 4C語(yǔ)言中計(jì)算正弦的相關(guān)函數(shù)總結(jié)
- 5c語(yǔ)言計(jì)算三角形面積代碼
- 6什么是 WSH(腳本宿主)的詳細(xì)解釋
- 7C++ 中隨機(jī)函數(shù)random函數(shù)的使用方法
- 8正則表達(dá)式匹配各種特殊字符
- 9C語(yǔ)言十進(jìn)制轉(zhuǎn)二進(jìn)制代碼實(shí)例
- 10C語(yǔ)言查找數(shù)組里數(shù)字重復(fù)次數(shù)的方法
本欄相關(guān)
- 01-10SQLServer存儲(chǔ)過(guò)程實(shí)現(xiàn)單條件分頁(yè)
- 01-10SQLServer中防止并發(fā)插入重復(fù)數(shù)據(jù)的方
- 01-10SQL Server 2012降級(jí)至2008R2的方法
- 01-10SQL Server性能調(diào)優(yōu)之緩存
- 01-10SQL Server數(shù)據(jù)庫(kù)定時(shí)自動(dòng)備份
- 01-10Sql Server 死鎖的監(jiān)控分析解決思路
- 01-10實(shí)現(xiàn)SQL Server 原生數(shù)據(jù)從XML生成JSON數(shù)
- 01-10SqlServer快速檢索某個(gè)字段在哪些存儲(chǔ)
- 01-10SqlServer 在事務(wù)中獲得自增ID的實(shí)例代
- 01-10SQLServer性能優(yōu)化--間接實(shí)現(xiàn)函數(shù)索引或
隨機(jī)閱讀
- 01-10delphi制作wav文件的方法
- 01-11Mac OSX 打開(kāi)原生自帶讀寫NTFS功能(圖文
- 08-05織夢(mèng)dedecms什么時(shí)候用欄目交叉功能?
- 01-10SublimeText編譯C開(kāi)發(fā)環(huán)境設(shè)置
- 08-05DEDE織夢(mèng)data目錄下的sessions文件夾有什
- 01-11ajax實(shí)現(xiàn)頁(yè)面的局部加載
- 01-10使用C語(yǔ)言求解撲克牌的順子及n個(gè)骰子
- 04-02jquery與jsp,用jquery
- 01-10C#中split用法實(shí)例總結(jié)
- 08-05dedecms(織夢(mèng))副欄目數(shù)量限制代碼修改