使用正則表達(dá)式實(shí)現(xiàn)網(wǎng)頁(yè)爬蟲的思路詳解
網(wǎng)頁(yè)爬蟲:就是一個(gè)程序用于在互聯(lián)網(wǎng)中獲取指定規(guī)則的數(shù)據(jù)。
思路:
1.為模擬網(wǎng)頁(yè)爬蟲,我們可以現(xiàn)在我們的tomcat服務(wù)器端部署一個(gè)1.html網(wǎng)頁(yè)。(部署的步驟:在tomcat目錄的webapps目錄的ROOTS目錄下新建一個(gè)1.html。使用notepad++進(jìn)行編輯,編輯內(nèi)容為:
)
2.使用URL與網(wǎng)頁(yè)建立聯(lián)系
3.獲取輸入流,用于讀取網(wǎng)頁(yè)中的內(nèi)容
4.建立正則規(guī)則,因?yàn)檫@里我們是爬去網(wǎng)頁(yè)中的郵箱信息,所以建立匹配 郵箱的正則表達(dá)式:String regex="\w+@\w+(\.\w+)+";
5.將提取到的數(shù)據(jù)放到集合中。
代碼:
import java.io.BufferedReader; import java.io.InputStream; import java.io.InputStreamReader; import java.net.URL; import java.util.ArrayList; import java.util.List; import java.util.regex.Matcher; import java.util.regex.Pattern; /* * 網(wǎng)頁(yè)爬蟲:就是一個(gè)程序用于在互聯(lián)網(wǎng)中獲取指定規(guī)則的數(shù)據(jù) * * */ public class RegexDemo { public static void main(String[] args) throws Exception { List<String> list=getMailByWeb(); for(String str:list){ System.out.println(str); } } private static List<String> getMailByWeb() throws Exception { //1.與網(wǎng)頁(yè)建立聯(lián)系。使用URL String path="http://localhost:8080//1.html";//后面寫雙斜杠是用于轉(zhuǎn)義 URL url=new URL(path); //2.獲取輸入流 InputStream is=url.openStream(); //加緩沖 BufferedReader br=new BufferedReader(new InputStreamReader(is)); //3.提取符合郵箱的數(shù)據(jù) String regex="\\w+@\\w+(\\.\\w+)+"; //進(jìn)行匹配 //將正則規(guī)則封裝成對(duì)象 Pattern p=Pattern.compile(regex); //將提取到的數(shù)據(jù)放到一個(gè)集合中 List<String> list=new ArrayList<String>(); String line=null; while((line=br.readLine())!=null){ //匹配器 Matcher m=p.matcher(line); while(m.find()){ //3.將符合規(guī)則的數(shù)據(jù)存儲(chǔ)到集合中 list.add(m.group()); } } return list; } }
注意:在執(zhí)行前需要先開啟tomcat服務(wù)器
運(yùn)行結(jié)果:
總結(jié)
以上所述是小編給大家介紹的使用正則表達(dá)式實(shí)現(xiàn)網(wǎng)頁(yè)爬蟲的思路詳解,希望對(duì)大家有所幫助,如果大家有任何疑問(wèn)請(qǐng)給我留言,小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)我們網(wǎng)站的支持!
欄 目:正則表達(dá)式
下一篇:淺談?wù)齽t速記法的技巧
本文標(biāo)題:使用正則表達(dá)式實(shí)現(xiàn)網(wǎng)頁(yè)爬蟲的思路詳解
本文地址:http://mengdiqiu.com.cn/a1/zhengzebiaodashi/11192.html
您可能感興趣的文章
- 01-11正則表達(dá)式實(shí)現(xiàn)添加、刪除、替換三種功能
- 01-11python 用正則表達(dá)式篩選文本信息的實(shí)例
- 01-11正則表達(dá)式之匹配數(shù)字范圍
- 01-11python爬蟲正則表達(dá)式之處理?yè)Q行符
- 01-11正則表達(dá)式匹配路由的實(shí)現(xiàn)代碼
- 01-11正則表達(dá)式截取身份證號(hào)碼加密的方法
- 01-11js正則表達(dá)式 匹配兩個(gè)特定字符間的內(nèi)容示例
- 01-11MySQL使用正則表達(dá)式進(jìn)行查詢操作經(jīng)典實(shí)例總結(jié)
- 01-11python正則表達(dá)式之對(duì)號(hào)入座篇
- 01-11詳解正則表達(dá)式實(shí)現(xiàn)二代身份證號(hào)碼驗(yàn)證


閱讀排行
- 1C語(yǔ)言 while語(yǔ)句的用法詳解
- 2java 實(shí)現(xiàn)簡(jiǎn)單圣誕樹的示例代碼(圣誕
- 3利用C語(yǔ)言實(shí)現(xiàn)“百馬百擔(dān)”問(wèn)題方法
- 4C語(yǔ)言中計(jì)算正弦的相關(guān)函數(shù)總結(jié)
- 5c語(yǔ)言計(jì)算三角形面積代碼
- 6什么是 WSH(腳本宿主)的詳細(xì)解釋
- 7C++ 中隨機(jī)函數(shù)random函數(shù)的使用方法
- 8正則表達(dá)式匹配各種特殊字符
- 9C語(yǔ)言十進(jìn)制轉(zhuǎn)二進(jìn)制代碼實(shí)例
- 10C語(yǔ)言查找數(shù)組里數(shù)字重復(fù)次數(shù)的方法
本欄相關(guān)
- 01-11正則表達(dá)式實(shí)現(xiàn)添加、刪除、替換三
- 01-11正則表達(dá)式之匹配數(shù)字范圍
- 01-11python 用正則表達(dá)式篩選文本信息的實(shí)
- 01-11正則表達(dá)式匹配路由的實(shí)現(xiàn)代碼
- 01-11python爬蟲正則表達(dá)式之處理?yè)Q行符
- 01-11js正則表達(dá)式 匹配兩個(gè)特定字符間的
- 01-11正則表達(dá)式截取身份證號(hào)碼加密的方
- 01-11python正則表達(dá)式之對(duì)號(hào)入座篇
- 01-11MySQL使用正則表達(dá)式進(jìn)行查詢操作經(jīng)典
- 01-11詳解正則表達(dá)式實(shí)現(xiàn)二代身份證號(hào)碼
隨機(jī)閱讀
- 04-02jquery與jsp,用jquery
- 01-11ajax實(shí)現(xiàn)頁(yè)面的局部加載
- 08-05DEDE織夢(mèng)data目錄下的sessions文件夾有什
- 08-05dedecms(織夢(mèng))副欄目數(shù)量限制代碼修改
- 01-11Mac OSX 打開原生自帶讀寫NTFS功能(圖文
- 01-10使用C語(yǔ)言求解撲克牌的順子及n個(gè)骰子
- 08-05織夢(mèng)dedecms什么時(shí)候用欄目交叉功能?
- 01-10delphi制作wav文件的方法
- 01-10SublimeText編譯C開發(fā)環(huán)境設(shè)置
- 01-10C#中split用法實(shí)例總結(jié)