Java實現利用搜索引擎收集網址的程序

2019-11-18 15:38:00

字體：大中小

來源：轉載

供稿：網友

　　我這里講的不是怎么使用搜索引擎，而是怎么讓程序利用搜索引擎來搜集網址，這有什么用？很有用！網上動輒有人叫賣網址數據庫，如發布軟件網址、郵件地址、論壇網址、行業網址，這些網址是怎么來的呢？

不可能是人手工收集而來的，都是讓程序利用搜索引擎取到的，假如您需要某類網址信息數據，就跟我來一起研究一下，非常簡單。

　　本文采用java語言寫成，以Google和百度搜索引擎為對象。

　　我們要利用google、百度搜索引擎的搜索規則中的兩條，要害字搜索和inurl搜索。什么是inurl搜索，就是你所要搜索的網址中本身帶有的要害字，比如http://www.xxx.com/post.asp ,這個網址就含有post.asp這樣的要害字，在搜索引擎中填寫規則是 inurl:post.asp,這是收集網址的要害，因為很多網址本身會帶有特定的信息，比如軟件發布的網頁網址信息中多含有 publish、submit、tuijian這樣的信息，如http://www.xxx.com/publish.asp,這樣的網址多是發布信息的網頁，在結合網頁中本身可能含有的要害字，就可以用搜索引擎搜索出結果，然后我們利用程序將結果取回，對Html頁面進行分析，去除沒有用的信息，將有用的網址信息寫入文件或者數據庫，就可以給其它應用程序或者人來使用了。

　　第一步，用程序將搜索結果取回，先以百度為例，比如我們要搜索軟件發布的網頁，要害字采用 “軟件發布版本 inurl:publish.asp",先登錄百度看看，將要害字寫入，然后提交，在地址欄就會看到 http://www.baidu.com/s?ie=gb2312&bs=%C8%ED%BC%FE%B7%A2%B2%BC+%C8%ED%BC%FE%B0%E6%B1%BE+inurl%3Apublish.asp&sr=&z=&cl=3&f=8&wd=%C8%ED%BC%FE%B7%A2%B2%BC+%B0%E6%B1%BE+inurl%3Apublish.asp&ct=0 ,中文要害字全都變成編碼了，沒有關系，我們在程序中直接用中文也是可以的，其中多個要害字用＋號相連，去掉一些沒有用的信息，我們可以把地址優化成http://www.baidu.com/s?lm=0&si=&rn=20&ie=gb2312&ct=0&wd=軟件發布+版本+inurl%3Apublish%2Easp&pn=0&cl=0，其中rn表示一頁顯示多少個結果，wd=表示你要搜索的要害字，pn表示從第幾條開始顯示，這個pn將是我們程序循環取結果的變量，每20條循環一次。我們用Java寫的程序來模擬這個搜索的過程，用到的要害類為 java.net.HttpURLConnection,java.net.URL，先寫一個提交搜索的class,要害代碼如下：

class Search
{
　public URL url;
　public HttpURLConnection http;
　public java.io.InputStream urlstream;
　......
　for(int i=0;i++;i<100)
　{
　　......
　　try {
　　　url = new URL("http://www.baidu.com/s?lm=0&si=&rn=20&ie=gb2312&ct=0&wd=軟件發布+版本+inurl%3Apublish%2Easp&pn="+beginrecord+"&cl=0"); 
　　}catch(Exception ef){};
　　try {
　　　http = (HttpURLConnection) url.openConnection();
　　　http.connect();
　　　urlstream = http.getInputStream();
　　}catch(Exception ef){};








上一篇：Java 在Client/Server 網絡中的應用


下一篇：你能過關嗎?J2EE面試題集錦(附答案)














發表評論
共有條評論






用戶名:

密碼:



驗證碼:

 

匿名發表


















學習交流
更多





索泰發布一款GTX 1070 Mini迷


AMD新旗艦顯卡輕松干翻NVIDIA 






索泰發布一款GTX 1070 Mini迷你版本:小機
索泰發布一款GTX 1070 Mini迷你版本:小機箱大愛...






usb無線網卡怎么用,小編告訴你安裝教程09-10

usb調試在哪,小編告訴你usb調試在哪09-10

優盤不顯示,小編告訴你優盤不顯示怎么辦09-10

低級格式化,小編告訴你硬盤怎么低級格式化09-10




帝國cms分類信息的所在地在的修改09-08

將網站地圖和友情鏈接table樣式改為div+css09-08

用帝國cms實現不規則新聞或信息調用（應大站09-08

帝國調用DZ論壇精華帖09-08

用靈動標簽調用discuz和phpwind的最新貼子09-08







熱門圖片
更多




芭蕾舞蹈表演，真實美到極致


下午茶時間，悠然自得的休憩




充斥這繁華奢靡氣息的城市迪拜風景圖片


從山間到田野再到大海美麗的自然風景圖片




肉食主義者的最愛美食烤肉圖片


夏日甜心草莓美食圖片




人逢知己千杯少，喝酒搞笑圖集


搞笑試卷，學生惡搞答題







猜你喜歡的新聞


榮耀總裁趙明烏鎮演講：榮耀首款5G手機V30下

搜狐張朝陽：回歸媒體是搜狐重新崛起的關鍵

華為輪值董事長郭平：虛擬技術創造現實價值

第六屆世界互聯網大會開幕“to B”端成熱門

滴滴英文服務上線兩周年 用戶已超200萬

華為推出全球至快AI訓練集群Atlas900

馬斯克：特斯拉正組建中國技術團隊

10年后6G將問世 速度有望比5G快100倍

WeworkCEO稱已開始考慮未來職位 不排除放棄

谷歌軟件商店模式變革：推出5美元會員 可用數





猜你喜歡的關注


聊天室實現私聊(一)

聊天室實現私聊(二)

聊天室實現私聊(三)

聊天室實現私聊(四)

網頁在線人數統計的做法

ADO存取數據時如何實現留言記錄的分頁顯示

一個簡單聊天室的建立.(供學習參考)

構建你的網站新聞自動發布系統之一

構建你的網站新聞自動發布系統之二

構建你的網站新聞自動發布系統之三