使用mmap實現(xiàn)大文件的復(fù)制(單進(jìn)程和多進(jìn)程)
使用mmap實現(xiàn)大文件的復(fù)制,供大家參考,具體內(nèi)容如下
典型的文件復(fù)制的流程是:
1、讀?。╢read)被復(fù)制的文件的內(nèi)容。
2、寫入(fwrite)到新的文件中去。
使用mmap進(jìn)行文件復(fù)制的流程則是:
1、為被復(fù)制的文件已經(jīng)新文件分別進(jìn)行mmap映射。
2、將被復(fù)制的文件映射的內(nèi)存的內(nèi)容復(fù)制到新文件映射的內(nèi)存。
在知道了基本原理之后,讓我們看看具體的做法,本文只分析使用mmap進(jìn)行大文件復(fù)制的方法
具體的做法
先了解一些使用mmap時,應(yīng)當(dāng)注意的細(xì)節(jié):
- 文件的大小必須要大于等于內(nèi)存映射區(qū)的大小,因此對于創(chuàng)建的新文件,可以使用文件截斷函數(shù)(ftruncate)來改變文件的大小和被復(fù)制的文件大小一樣,這樣子才能在映射一個和被復(fù)制的文件的映射區(qū)一樣大的內(nèi)存映射區(qū)。
- 下面我將使用單進(jìn)程和多進(jìn)程兩種方式來進(jìn)行mmap文件復(fù)制
單進(jìn)程mmap文件復(fù)制
#include<stdio.h> #include <string.h> #include <malloc.h> #include <unistd.h> #include <sys/stat.h> #include <fcntl.h> #include <unistd.h> #include <stdlib.h> #include <sys/mman.h> /* 首先規(guī)定一下該命令的參數(shù) : * mycopy 源文件地址 目標(biāo)文件地址 * * 可能需要的函數(shù):open\read\write\close * 基本流程:打開源文件,讀取內(nèi)容,寫到另一個文件,關(guān)閉文件 * 核心方法:通過mmap(最快的進(jìn)程間通信方法) * 如何獲取文件的大?。? * */ unsigned long get_file_byte_num(const char * filename) { FILE *fp = fopen(filename, "r"); fseek(fp, 0, SEEK_END); return ftell(fp); } int main(int argc, char ** argv) { // 首先解析輸入的參數(shù)得到源文件和目標(biāo)文件 if (argc < 3) { perror("參數(shù)輸入不足"); } int slen = strlen(argv[1]); // 這個是源文件的名的長度 int tlen = strlen(argv[2]); // 這個是目標(biāo)文件名的長度 char *sname = (char *)malloc(sizeof(char)*(slen + 1)); char *tname = (char*)malloc(sizeof(char)*(tlen + 1)); strcpy(sname, argv[1]); strcpy(tname, argv[2]); // 打開目標(biāo)文件 // 計算源文件的大?。ㄗ止?jié)數(shù)) unsigned long byte_num = get_file_byte_num(sname); printf("文件的長度為%ld字節(jié)\n", byte_num); //--------建立 mmap 映射區(qū) -------------- // 獲取被復(fù)制文件的文件描述符 int fd = open(sname, O_RDWR|O_CREAT, 0644); int tfd = open(tname, O_RDWR|O_CREAT, 0644); ftruncate(tfd, byte_num); char *mem =(char*) mmap(NULL, byte_num, PROT_WRITE|PROT_READ, MAP_SHARED, fd, 0); if (mem == MAP_FAILED) perror("mmap err"); char *tmem =(char*) mmap(NULL, byte_num, PROT_WRITE|PROT_READ, MAP_SHARED, tfd, 0); if (tmem == MAP_FAILED) perror("mmap err"); close(fd); // 內(nèi)存映射區(qū)建立之后,就可以關(guān)閉文件描述符 close(tfd); memcpy(tmem, mem, byte_num); // 回收子進(jìn)程,等待拷貝結(jié)束 munmap(mem, byte_num); munmap(tmem, byte_num); free(sname); free(tname);
多進(jìn)程mmap復(fù)制文件
所謂的多進(jìn)程mmap復(fù)制文件,只是做了將復(fù)制的任務(wù)分給多個進(jìn)程去完成,核心思想不變。
#include<stdio.h> #include <string.h> #include <malloc.h> #include <unistd.h> #include <sys/stat.h> #include <fcntl.h> #include <unistd.h> #include <stdlib.h> #include <sys/mman.h> #include <signal.h> #include <sys/wait.h> /* 首先規(guī)定一下該命令的參數(shù) : * mycopy 源文件地址 目標(biāo)文件地址 * * 可能需要的函數(shù):open\read\write\close * 基本流程:打開源文件,讀取內(nèi)容,寫到另一個文件,關(guān)閉文件 * 核心方法:通過mmap(最快的進(jìn)程間通信方法) * 如何獲取文件的大?。? * */ // 獲取文件的字節(jié)數(shù) unsigned long get_file_byte_num(const char * filename) { FILE *fp = fopen(filename, "r"); fseek(fp, 0, SEEK_END); return ftell(fp); } // sigchld信號處理函數(shù) void sigchld_handle(int a) { pid_t pid; while ((pid = waitpid(0,NULL, WNOHANG)) > 0) { printf("回收到一個子進(jìn)程%d\n", pid); } } int main(int argc, char ** argv) { // 首先解析輸入的參數(shù)得到源文件和目標(biāo)文件 if (argc < 3) { perror("參數(shù)輸入不足"); } int slen = strlen(argv[1]); // 這個是源文件的名的長度 int tlen = strlen(argv[2]); // 這個是目標(biāo)文件名的長度 char *sname = (char *)malloc(sizeof(char)*(slen + 1)); char *tname = (char*)malloc(sizeof(char)*(tlen + 1)); strcpy(sname, argv[1]); strcpy(tname, argv[2]); // 打開目標(biāo)文件 FILE * tfp = fopen(tname, "w"); // 不存在則創(chuàng)建 // 計算源文件的大?。ㄗ止?jié)數(shù)) unsigned long byte_num = get_file_byte_num(sname); printf("文件的長度為%ld字節(jié)\n", byte_num); //--------建立 mmap 映射區(qū) -------------- // 獲取被復(fù)制文件的文件描述符 int fd = open(sname, O_RDWR|O_CREAT, 0644); int tfd = open(tname, O_RDWR|O_CREAT, 0644); ftruncate(tfd, byte_num); // 將tfd指向的文件的大小改變?yōu)閎yte_num char *mem =(char*) mmap(NULL, byte_num, PROT_WRITE|PROT_READ, MAP_SHARED, fd, 0); char * mem_tmp = mem; // 備份共享內(nèi)存入口地址 if (mem == MAP_FAILED) perror("MAP_FAILED"); char *tmem = (char*)mmap(NULL, byte_num, PROT_WRITE, MAP_SHARED,tfd, 0); char * tmem_tmp = tmem; if (tmem == MAP_FAILED) perror("mmap err"); close(fd); // 內(nèi)存映射區(qū)建立之后,就可以關(guān)閉文件描述符 close(tfd); // 父子進(jìn)程之間就可以通過這個mem指針進(jìn)行通信了 // 規(guī)定進(jìn)程數(shù)量為5mZ const int num_proc = 5; // 根據(jù)進(jìn)程數(shù)量,計算每個進(jìn)程需要拷貝的字節(jié)數(shù), // 最后一個進(jìn)程拷貝剩余的字節(jié)數(shù)。 const int num_proc = 5; const unsigned long each_proc_byte = byte_num/num_proc; // 由于可能無法整除,因此最后一個進(jìn)程,需要多復(fù)制一些 const unsigned long last_proc_byte = byte_num - each_proc_byte*(num_proc - 1); // 屏蔽sigchld信號的系統(tǒng)默認(rèn)處理方式 sigset_t set; sigemptyset(&set); // 初始化一下set sigaddset(&set, SIGCHLD); sigprocmask(SIG_BLOCK, &set, NULL); // 屏蔽 // 循環(huán)創(chuàng)建子進(jìn)程 int i; pid_t pid; for(i = 0; i < num_proc - 1; ++i) { if ((pid = fork())==-1) perror("fork error"); if (pid == 0) break; } // -------具體的拷貝過程--------- if (i == num_proc - 1) // 父進(jìn)程 { // 設(shè)置信號捕捉和解除屏蔽 struct sigaction act; act.sa_handler = sigchld_handle; sigemptyset(&act.sa_mask); // 處理期間不屏蔽其他信號 sigaction(SIGCHLD, &act, NULL); // 啟動信號捕獲 sigprocmask(SIG_UNBLOCK, &set, NULL); // 解除SIGCHLD的屏蔽 memcpy(tmem_tmp + each_proc_byte*i, mem_tmp + each_proc_byte*i, last_proc_byte); }else { memcpy(tmem + each_proc_byte*i, mem_tmp + each_proc_byte*i, each_proc_byte); } // // 回收子進(jìn)程,等待拷貝結(jié)束 // munmap(mem, byte_num); munmap(tmem, byte_num); free(sname); free(tname); return 0; }
幾個問題
1、主進(jìn)程什么時候進(jìn)行munmap才不會影響其他進(jìn)程使用mmap進(jìn)行復(fù)制。
父子進(jìn)程之間的用戶空間遵循“讀時共享、寫時復(fù)制”的原則,mmap肯定是采用的用戶空間的內(nèi)存,因此我認(rèn)為最好的處理方法,就是每個進(jìn)程都進(jìn)行munmap。
2、sleep()函數(shù)的注意點:
sleep在manpage上的原文解釋為:sleep() makes the calling process sleep until seconds seconds have elapsed or a signal arrives which is not ignored.
也就是說,結(jié)束sleep的情況又兩種:1.休眠時間到。2.調(diào)用sleep的進(jìn)程收到一個信號,且該信號未被屏蔽,在該信號處理完成后,理解結(jié)束sleep。
3、子進(jìn)程可能會比主進(jìn)程結(jié)束的慢,而且不能讓主進(jìn)程阻塞等待子進(jìn)程(通過信號捕捉來回收子進(jìn)程),這種情況下,該如何回收子進(jìn)程?
首先,主進(jìn)程準(zhǔn)備好信號捕獲回收子進(jìn)程的代碼。其次,能不能回收就隨緣,如果主進(jìn)程先退出了就把子進(jìn)程交給init進(jìn)程回收。所以,不需要擔(dān)心能不能回收的問題。
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持我們。
上一篇:C++編程產(chǎn)生指定范圍內(nèi)的隨機數(shù)
欄 目:C語言
本文標(biāo)題:使用mmap實現(xiàn)大文件的復(fù)制(單進(jìn)程和多進(jìn)程)
本文地址:http://mengdiqiu.com.cn/a1/Cyuyan/187.html
您可能感興趣的文章
- 04-02func函數(shù)+在C語言 func函數(shù)在c語言中
- 01-10數(shù)據(jù)結(jié)構(gòu)課程設(shè)計-用棧實現(xiàn)表達(dá)式求值的方法詳解
- 01-10使用OpenGL實現(xiàn)3D立體顯示的程序代碼
- 01-10求斐波那契(Fibonacci)數(shù)列通項的七種實現(xiàn)方法
- 01-10C語言 解決不用+、-、&#215;、&#247;數(shù)字運算符做加法
- 01-10使用C++實現(xiàn)全排列算法的方法詳解
- 01-10深入Main函數(shù)中的參數(shù)argc,argv的使用詳解
- 01-10用C++實現(xiàn)DBSCAN聚類算法
- 01-10深入全排列算法及其實現(xiàn)方法
- 01-10全排列算法的非遞歸實現(xiàn)與遞歸實現(xiàn)的方法(C++)


閱讀排行
本欄相關(guān)
- 04-02c語言函數(shù)調(diào)用后清空內(nèi)存 c語言調(diào)用
- 04-02func函數(shù)+在C語言 func函數(shù)在c語言中
- 04-02c語言的正則匹配函數(shù) c語言正則表達(dá)
- 04-02c語言用函數(shù)寫分段 用c語言表示分段
- 04-02c語言中對數(shù)函數(shù)的表達(dá)式 c語言中對
- 04-02c語言編寫函數(shù)冒泡排序 c語言冒泡排
- 04-02c語言沒有round函數(shù) round c語言
- 04-02c語言分段函數(shù)怎么求 用c語言求分段
- 04-02C語言中怎么打出三角函數(shù) c語言中怎
- 04-02c語言調(diào)用函數(shù)求fibo C語言調(diào)用函數(shù)求
隨機閱讀
- 01-11Mac OSX 打開原生自帶讀寫NTFS功能(圖文
- 08-05織夢dedecms什么時候用欄目交叉功能?
- 01-11ajax實現(xiàn)頁面的局部加載
- 01-10SublimeText編譯C開發(fā)環(huán)境設(shè)置
- 08-05dedecms(織夢)副欄目數(shù)量限制代碼修改
- 04-02jquery與jsp,用jquery
- 01-10delphi制作wav文件的方法
- 08-05DEDE織夢data目錄下的sessions文件夾有什
- 01-10使用C語言求解撲克牌的順子及n個骰子
- 01-10C#中split用法實例總結(jié)