欧美大屁股bbbbxxxx,狼人大香伊蕉国产www亚洲,男ji大巴进入女人的视频小说,男人把ji大巴放进女人免费视频,免费情侣作爱视频

歡迎來(lái)到入門教程網(wǎng)!

MsSql

當(dāng)前位置:主頁(yè) > 數(shù)據(jù)庫(kù) > MsSql >

使用SQL語(yǔ)句去掉重復(fù)的記錄【兩種方法】

來(lái)源:本站原創(chuàng)|時(shí)間:2020-01-10|欄目:MsSql|點(diǎn)擊: 次

海量數(shù)據(jù)(百萬(wàn)以上),其中有些全部字段都相同,有些部分字段相同,怎樣高效去除重復(fù)?

如果要?jiǎng)h除手機(jī)(mobilePhone),電話(officePhone),郵件(email)同時(shí)都相同的數(shù)據(jù),以前一直使用這條語(yǔ)句進(jìn)行去重:

delete from 表 where id not in  
(select max(id) from 表 group by mobilePhone,officePhone,email )  
or 
delete from 表 where id not in  
 (select min(id) from 表 group by mobilePhone,officePhone,email ) 

delete from 表 where id not in 
(select max(id) from 表 group by mobilePhone,officePhone,email ) 
or 
delete from 表 where id not in 
 (select min(id) from 表 group by mobilePhone,officePhone,email ) 

其中下面這條會(huì)稍快些。上面這條數(shù)據(jù)對(duì)于100萬(wàn)以內(nèi)的數(shù)據(jù)效率還可以,重復(fù)數(shù)1/5的情況下幾分鐘到幾十分鐘不等,但是如果數(shù)據(jù)量達(dá)到300萬(wàn)以上,效率驟降,如果重復(fù)數(shù)據(jù)再多點(diǎn)的話,常常會(huì)幾十小時(shí)跑不完,有時(shí)候會(huì)鎖表跑一夜都跑不完。無(wú)奈只得重新尋找新的可行方法,今天終于有所收獲:

//查詢出唯一數(shù)據(jù)的ID,并把他們導(dǎo)入臨時(shí)表tmp中  
select min(id) as mid into tmp from 表 group by mobilePhone,officePhone,email  
 //查詢出去重后的數(shù)據(jù)并插入finally表中  
insert into finally select (除ID以外的字段) from customers_1 where id in (select mid from tmp) 

//查詢出唯一數(shù)據(jù)的ID,并把他們導(dǎo)入臨時(shí)表tmp中 
select min(id) as mid into tmp from 表 group by mobilePhone,officePhone,email 
 //查詢出去重后的數(shù)據(jù)并插入finally表中 
insert into finally select (除ID以外的字段) from customers_1 where id in (select mid from tmp) 

效率對(duì)比:用delete方法對(duì)500萬(wàn)數(shù)據(jù)去重(1/2重復(fù))約4小時(shí)。4小時(shí),很長(zhǎng)的時(shí)間。

用臨時(shí)表插入對(duì)500萬(wàn)數(shù)據(jù)去重(1/2重復(fù))不到10分鐘。

其實(shí)用刪除方式是比較慢的,可能是邊找邊刪除的原因吧,而使用臨時(shí)表,可以將沒(méi)有重復(fù)的數(shù)據(jù)ID選出來(lái)放在臨時(shí)表里,再將表的信息按臨時(shí)表的選擇出來(lái)的ID,將它們找出來(lái)插入到新的表,然后將原表刪除,這樣就可以快速去重啦。

SQL語(yǔ)句去掉重復(fù)記錄,獲取重復(fù)記錄

按照某幾個(gè)字段名稱查找表中存在這幾個(gè)字段的重復(fù)數(shù)據(jù)并按照插入的時(shí)間先后進(jìn)行刪除,條件取決于order by 和row_num。

方法一按照多條件重復(fù)處理:

delete tmp from(  
select row_num = row_number() over(partition by 字段,字段 order by 時(shí)間 desc)  
 from 表 where 時(shí)間> getdate()-1  
 ) tmp  
 where row_num > 1 
delete tmp from( 
select row_num = row_number() over(partition by 字段,字段 order by 時(shí)間 desc) 
 from 表 where 時(shí)間> getdate()-1 
 ) tmp 
 where row_num > 1 

方法二按照單一條件進(jìn)行去重:

delete from 表 where 主鍵ID not in(  
select max(主鍵ID) from 表 group by 需要去重的字段 having count(需要去重的字段)>=1  
 ) 
delete from 表 where 主鍵ID not in( 
select max(主鍵ID) from 表 group by 需要去重的字段 having count(需要去重的字段)>=1 
 ) 

注意:為提高效率如上兩個(gè)方法都可以使用臨時(shí)表, not in 中的表可以先提取臨時(shí)表#tmp,

然后采用not exists來(lái)執(zhí)行,為避免數(shù)量過(guò)大,可批量用Top控制刪除量

delete top(2) from 表  
   where not exists (select 主鍵ID  
 from #tmp where #tmp.主鍵ID=表.主鍵ID) 

總結(jié)

以上所述是小編給大家介紹的使用SQL語(yǔ)句去掉重復(fù)的記錄,希望對(duì)大家有所幫助,如果大家有任何疑問(wèn)請(qǐng)給我留言,小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)我們網(wǎng)站的支持!

網(wǎng)頁(yè)制作CMS教程網(wǎng)絡(luò)編程軟件編程腳本語(yǔ)言數(shù)據(jù)庫(kù)服務(wù)器

如果侵犯了您的權(quán)利,請(qǐng)與我們聯(lián)系,我們將在24小時(shí)內(nèi)進(jìn)行處理、任何非本站因素導(dǎo)致的法律后果,本站均不負(fù)任何責(zé)任。

聯(lián)系QQ:835971066 | 郵箱:835971066#qq.com(#換成@)

Copyright © 2002-2020 腳本教程網(wǎng) 版權(quán)所有