使用正則表達式實現(xiàn)網(wǎng)頁爬蟲的思路詳解
網(wǎng)頁爬蟲:就是一個程序用于在互聯(lián)網(wǎng)中獲取指定規(guī)則的數(shù)據(jù)。
思路:
1.為模擬網(wǎng)頁爬蟲,我們可以現(xiàn)在我們的tomcat服務(wù)器端部署一個1.html網(wǎng)頁。(部署的步驟:在tomcat目錄的webapps目錄的ROOTS目錄下新建一個1.html。使用notepad++進行編輯,編輯內(nèi)容為:
)
2.使用URL與網(wǎng)頁建立聯(lián)系
3.獲取輸入流,用于讀取網(wǎng)頁中的內(nèi)容
4.建立正則規(guī)則,因為這里我們是爬去網(wǎng)頁中的郵箱信息,所以建立匹配 郵箱的正則表達式:String regex="\w+@\w+(\.\w+)+";
5.將提取到的數(shù)據(jù)放到集合中。
代碼:
import java.io.BufferedReader; import java.io.InputStream; import java.io.InputStreamReader; import java.net.URL; import java.util.ArrayList; import java.util.List; import java.util.regex.Matcher; import java.util.regex.Pattern; /* * 網(wǎng)頁爬蟲:就是一個程序用于在互聯(lián)網(wǎng)中獲取指定規(guī)則的數(shù)據(jù) * * */ public class RegexDemo { public static void main(String[] args) throws Exception { List<String> list=getMailByWeb(); for(String str:list){ System.out.println(str); } } private static List<String> getMailByWeb() throws Exception { //1.與網(wǎng)頁建立聯(lián)系。使用URL String path="http://localhost:8080//1.html";//后面寫雙斜杠是用于轉(zhuǎn)義 URL url=new URL(path); //2.獲取輸入流 InputStream is=url.openStream(); //加緩沖 BufferedReader br=new BufferedReader(new InputStreamReader(is)); //3.提取符合郵箱的數(shù)據(jù) String regex="\\w+@\\w+(\\.\\w+)+"; //進行匹配 //將正則規(guī)則封裝成對象 Pattern p=Pattern.compile(regex); //將提取到的數(shù)據(jù)放到一個集合中 List<String> list=new ArrayList<String>(); String line=null; while((line=br.readLine())!=null){ //匹配器 Matcher m=p.matcher(line); while(m.find()){ //3.將符合規(guī)則的數(shù)據(jù)存儲到集合中 list.add(m.group()); } } return list; } }
注意:在執(zhí)行前需要先開啟tomcat服務(wù)器
運行結(jié)果:
總結(jié)
以上所述是小編給大家介紹的使用正則表達式實現(xiàn)網(wǎng)頁爬蟲的思路詳解,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對我們網(wǎng)站的支持!
欄 目:正則表達式
下一篇:淺談?wù)齽t速記法的技巧
本文標題:使用正則表達式實現(xiàn)網(wǎng)頁爬蟲的思路詳解
本文地址:http://mengdiqiu.com.cn/a1/zhengzebiaodashi/11192.html
您可能感興趣的文章
- 01-11正則表達式實現(xiàn)添加、刪除、替換三種功能
- 01-11python 用正則表達式篩選文本信息的實例
- 01-11正則表達式之匹配數(shù)字范圍
- 01-11python爬蟲正則表達式之處理換行符
- 01-11正則表達式匹配路由的實現(xiàn)代碼
- 01-11正則表達式截取身份證號碼加密的方法
- 01-11js正則表達式 匹配兩個特定字符間的內(nèi)容示例
- 01-11MySQL使用正則表達式進行查詢操作經(jīng)典實例總結(jié)
- 01-11python正則表達式之對號入座篇
- 01-11詳解正則表達式實現(xiàn)二代身份證號碼驗證


閱讀排行
本欄相關(guān)
- 01-11正則表達式實現(xiàn)添加、刪除、替換三
- 01-11正則表達式之匹配數(shù)字范圍
- 01-11python 用正則表達式篩選文本信息的實
- 01-11正則表達式匹配路由的實現(xiàn)代碼
- 01-11python爬蟲正則表達式之處理換行符
- 01-11js正則表達式 匹配兩個特定字符間的
- 01-11正則表達式截取身份證號碼加密的方
- 01-11python正則表達式之對號入座篇
- 01-11MySQL使用正則表達式進行查詢操作經(jīng)典
- 01-11詳解正則表達式實現(xiàn)二代身份證號碼
隨機閱讀
- 04-02jquery與jsp,用jquery
- 01-11ajax實現(xiàn)頁面的局部加載
- 08-05DEDE織夢data目錄下的sessions文件夾有什
- 08-05dedecms(織夢)副欄目數(shù)量限制代碼修改
- 01-11Mac OSX 打開原生自帶讀寫NTFS功能(圖文
- 01-10使用C語言求解撲克牌的順子及n個骰子
- 08-05織夢dedecms什么時候用欄目交叉功能?
- 01-10delphi制作wav文件的方法
- 01-10SublimeText編譯C開發(fā)環(huán)境設(shè)置
- 01-10C#中split用法實例總結(jié)