C#并發(fā)實(shí)戰(zhàn)記錄之Parallel.ForEach使用
前言:
最近給客戶開發(fā)一個(gè)伙食費(fèi)計(jì)算系統(tǒng),大概需要計(jì)算2000個(gè)人的伙食。需求是按照員工的預(yù)定報(bào)餐計(jì)劃對(duì)消費(fèi)記錄進(jìn)行檢查,如有未報(bào)餐有刷卡或者有報(bào)餐沒刷卡的要進(jìn)行一定的金額扣減等一系列規(guī)則。一開始我的想法比較簡(jiǎn)單,直接用一個(gè)for循環(huán)搞定,統(tǒng)計(jì)結(jié)果倒是沒問題,但是計(jì)算出來太慢了需要7,8分鐘。這樣系統(tǒng)服務(wù)是報(bào)超時(shí)錯(cuò)誤的,讓人覺得有點(diǎn)不太爽。由于時(shí)間也不多就就先提交給用戶使用了,后面邏輯又增加了,計(jì)算時(shí)間變長(zhǎng),整個(gè)計(jì)算一遍居然要將近10分鐘了。這個(gè)對(duì)用戶來說是能接收的(原來自己手算需要好幾天呢),但是我自己接受不了,于是就開始優(yōu)化了,怎么優(yōu)化呢,用多線程唄。
一提到多線程,最先想到的是Task了,畢竟.net4.0以上Task封裝了很多好用的方法。但是Task畢竟是多開一些線程去執(zhí)行任務(wù),最后整合結(jié)果,這樣可以快一些,但我想更加快速一些,于是想到了另外一個(gè)對(duì)象:Parallel。之前在維護(hù)代碼是確實(shí)有遇到過別人寫的Parallel.Invoke,只是指定這個(gè)函數(shù)的作用是并發(fā)執(zhí)行多項(xiàng)任務(wù),如果遇到多個(gè)耗時(shí)的操作,他們之間又不貢獻(xiàn)變量這個(gè)方法不錯(cuò)。我的情況是要并發(fā)執(zhí)行一個(gè)集合,于是就用了List.ForAll 這個(gè)方法其實(shí)是拓展方法,完整的調(diào)用為:List.AsParallel().ForAll,需要先轉(zhuǎn)換成支持并發(fā)的集合,等同于Parallel.ForEach,目的是對(duì)集合里面的元素并發(fā)執(zhí)行一系列操作。
于是乎,把原來的foreach換成了List.AsParallel().ForAll,運(yùn)行起來,果然速度驚人,不到兩分鐘就插入結(jié)果了,但最后卻是報(bào)主鍵重復(fù)的錯(cuò)誤,這個(gè)錯(cuò)誤的原因是,由于使用了并發(fā),這個(gè)時(shí)候變量自增,其實(shí)是在強(qiáng)著自增,當(dāng)多個(gè)線程同時(shí)獲取到了id值,都去自增然后就重復(fù)了,舉個(gè)例子如下:
int num = 1; List<int> list = new List<int>(); for (int i = 1; i <= 2000; i++) { list.Add(i); } Console.WriteLine($"num初始值為:" + num.ToString()); list.AsParallel().ForAll(n => { num++; }); Console.WriteLine($"不加鎖,并發(fā){list.Count}次后為:" + num.ToString()); Console.ReadKey();
這段代碼是讓一個(gè)變量執(zhí)行2000次自增,正常結(jié)果應(yīng)該是2001,但實(shí)際結(jié)果如下:
有經(jīng)驗(yàn)的同學(xué),立馬能想到需要加鎖了,C#內(nèi)置了很多鎖對(duì)象,如lock 互斥鎖,Interlocked 內(nèi)部鎖,Monitor 這幾個(gè)比較常見,lock內(nèi)部實(shí)現(xiàn)其實(shí)就是使用了Monitor對(duì)象。對(duì)變量自增,Interlocked對(duì)象提供了,變量自增,自減、或者相加等方法,我們使用自增方法Interlocked.Increment,函數(shù)定義為:int Increment(ref int num),該對(duì)象提供原子性的變量自增操作,傳入目標(biāo)數(shù)值,返回或者ref num都是自增后的結(jié)果。 在之前的基礎(chǔ)上我們?cè)黾右恍┐a:
num = 1; Console.WriteLine($"num初始值為:" + num.ToString()); list.AsParallel().ForAll(n => { Interlocked.Increment(ref num); }); Console.WriteLine($"使用內(nèi)部鎖,并發(fā){list.Count}次后為:" + num.ToString()); Console.ReadKey();
我們來看運(yùn)行結(jié)果:
加了鎖之后ID重復(fù)算是解決了,其實(shí)別高興太早,由于正常的環(huán)境有了ID我們還有用這些ID來構(gòu)建對(duì)象呢,于是又寫了寫代碼,用集合來添加這些ID,為了更真實(shí)的模擬生產(chǎn)環(huán)境,我在forAll里面又加了一層循環(huán)代碼如下:
num = 1; Random random = new Random(); var total = 0; var m = new ConcurrentBag<int>(); list.AsParallel().ForAll(n => { var c = random.Next(1, 50); Interlocked.Add(ref total, c); for (int i = 0; i < c; i++) { Interlocked.Increment(ref num); m.Add(num); } }); Console.WriteLine($"使用內(nèi)部鎖,并發(fā)+內(nèi)部循環(huán){list.Count}次后為:" + num.ToString()); Console.WriteLine($"實(shí)際值為:{total + 1}"); var l = m.GroupBy(n => n).Where(o => o.Count() > 1); Console.WriteLine($"并發(fā)里面使用安全集合ConcurrentBag添加num,集合重復(fù)值:{l.Count()}個(gè)"); Console.ReadKey();
上面的代碼里面我用到了線程安全集合ConcurrentBag<T>它的命名空間是:using System.Collections.Concurrent,盡管使用了線程安全集合,但是在并發(fā)面前仍然是不安全的,到了這里其實(shí)比較郁悶了,自增加鎖,安全集合內(nèi)部應(yīng)該也使用了鎖,但還是重復(fù)了。有點(diǎn)說不過去了,想想多線程執(zhí)行時(shí)有個(gè)上下文對(duì)象,即當(dāng)多個(gè)線程同時(shí)執(zhí)行任務(wù),共享了變量他們一開始傳進(jìn)去的對(duì)象數(shù)值應(yīng)該是相同的,由于變量自增時(shí)加了鎖,所以ID是不會(huì)重復(fù)了。我猜測(cè)問題應(yīng)該出在Add方法了,就是說當(dāng)num值自增后還沒有來得及傳出去就已經(jīng)執(zhí)行了Add方法,故添加了重復(fù)變量。于是乎,我重新寫了段代碼,讓ID自增和集合添加都放到鎖里面:
num = 1; total = 0; using (var q = new BlockingCollection<int>()) { list.AsParallel().ForAll(n => { var c = random.Next(1, 50); Interlocked.Add(ref total, c); for (int i = 0; i < c; i++) { // Task.Delay(100); q.Add(Interlocked.Increment(ref num)); //可控 //lock (objLock) //{ // num++; // q.Add(num); //} } }); q.CompleteAdding(); Console.WriteLine($"num累計(jì)值為:{total},并發(fā)之后值為:{num}"); var x = q.GroupBy(n => n).Where(o => o.Count() > 1); Console.WriteLine($"并發(fā)使用安全集合BlockingCollection+Interlocked添加num,集合重復(fù)值:{x.Count()}個(gè)"); Console.ReadKey(); }
這里我測(cè)試了另外一個(gè)線程安全的集合BlockingCollection,關(guān)于這個(gè)集合的使用請(qǐng)自行查找MSDN文檔,上面的關(guān)鍵代碼直接添加安全集合的返回值,可以保證集合不會(huì)重復(fù),但其實(shí)下面的lock更適用與正式環(huán)境,因?yàn)槲覀兲砑拥囊话愣际菍?duì)象不會(huì)是基礎(chǔ)類型數(shù)值,運(yùn)行結(jié)果如下:
至此,我們的問題解決了,計(jì)算時(shí)間由原來的9分多降至110秒左右,可見Parallel的處理還是很給力的,唯一不足的是,很占CPU,執(zhí)行計(jì)算后CPU達(dá)到了88%。附上計(jì)算結(jié)果:
優(yōu)化前后對(duì)比
總結(jié):
C#安全集合在并發(fā)的情況下其實(shí)不一定是安全的,還是需要結(jié)合實(shí)際應(yīng)用場(chǎng)景和驗(yàn)證結(jié)果為準(zhǔn)。Parallel.ForEach在對(duì)循環(huán)數(shù)量可觀的情況下是可以去使用的,如果有共享變量,一定要配合鎖做同步處理。還是得慎用這個(gè)方法,如果方法內(nèi)部有操作數(shù)據(jù)庫的記得增加事務(wù)處理,否則就呵呵了。
好了,以上就是這篇文章的全部?jī)?nèi)容了,希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,謝謝大家對(duì)我們的支持。
欄 目:C#教程
下一篇:C#打開揚(yáng)聲器的實(shí)操方法和代碼
本文標(biāo)題:C#并發(fā)實(shí)戰(zhàn)記錄之Parallel.ForEach使用
本文地址:http://mengdiqiu.com.cn/a1/C_jiaocheng/4694.html
您可能感興趣的文章
- 01-10C#設(shè)計(jì)模式編程中運(yùn)用適配器模式結(jié)構(gòu)實(shí)戰(zhàn)演練
- 01-10vs2005中總是保留最近打開的項(xiàng)目和文件的記錄
- 01-10C#解決SQlite并發(fā)異常問題的方法(使用讀寫鎖)
- 01-10C#實(shí)現(xiàn)控制線程池最大數(shù)并發(fā)線程
- 01-10C#自定義日志記錄
- 01-10C#使用讀寫鎖三行代碼簡(jiǎn)單解決多線程并發(fā)的問題
- 01-10使用數(shù)字簽名實(shí)現(xiàn)數(shù)據(jù)庫記錄防篡改(Java實(shí)現(xiàn))
- 01-10C#中foreach實(shí)現(xiàn)原理詳解
- 01-10C#中四步輕松使用log4net記錄本地日志的方法
- 01-10C#編程高并發(fā)的幾種處理方法詳解


閱讀排行
- 1C語言 while語句的用法詳解
- 2java 實(shí)現(xiàn)簡(jiǎn)單圣誕樹的示例代碼(圣誕
- 3利用C語言實(shí)現(xiàn)“百馬百擔(dān)”問題方法
- 4C語言中計(jì)算正弦的相關(guān)函數(shù)總結(jié)
- 5c語言計(jì)算三角形面積代碼
- 6什么是 WSH(腳本宿主)的詳細(xì)解釋
- 7C++ 中隨機(jī)函數(shù)random函數(shù)的使用方法
- 8正則表達(dá)式匹配各種特殊字符
- 9C語言十進(jìn)制轉(zhuǎn)二進(jìn)制代碼實(shí)例
- 10C語言查找數(shù)組里數(shù)字重復(fù)次數(shù)的方法
本欄相關(guān)
- 01-10C#通過反射獲取當(dāng)前工程中所有窗體并
- 01-10關(guān)于ASP網(wǎng)頁無法打開的解決方案
- 01-10WinForm限制窗體不能移到屏幕外的方法
- 01-10WinForm繪制圓角的方法
- 01-10C#實(shí)現(xiàn)txt定位指定行完整實(shí)例
- 01-10WinForm實(shí)現(xiàn)仿視頻播放器左下角滾動(dòng)新
- 01-10C#停止線程的方法
- 01-10C#實(shí)現(xiàn)清空回收站的方法
- 01-10C#通過重寫Panel改變邊框顏色與寬度的
- 01-10C#實(shí)現(xiàn)讀取注冊(cè)表監(jiān)控當(dāng)前操作系統(tǒng)已
隨機(jī)閱讀
- 01-10C#中split用法實(shí)例總結(jié)
- 08-05織夢(mèng)dedecms什么時(shí)候用欄目交叉功能?
- 08-05DEDE織夢(mèng)data目錄下的sessions文件夾有什
- 01-10SublimeText編譯C開發(fā)環(huán)境設(shè)置
- 04-02jquery與jsp,用jquery
- 01-11ajax實(shí)現(xiàn)頁面的局部加載
- 08-05dedecms(織夢(mèng))副欄目數(shù)量限制代碼修改
- 01-10delphi制作wav文件的方法
- 01-10使用C語言求解撲克牌的順子及n個(gè)骰子
- 01-11Mac OSX 打開原生自帶讀寫NTFS功能(圖文