亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > Java > 正文

JAVA使用爬蟲抓取網站網頁內容的方法

2019-11-26 15:04:23
字體:
來源:轉載
供稿:網友

本文實例講述了JAVA使用爬蟲抓取網站網頁內容的方法。分享給大家供大家參考。具體如下:

最近在用JAVA研究下爬網技術,呵呵,入了個門,把自己的心得和大家分享下
以下提供二種方法,一種是用apache提供的包.另一種是用JAVA自帶的.

代碼如下:

// 第一種方法//這種方法是用apache提供的包,簡單方便//但是要用到以下包:commons-codec-1.4.jar// commons-httpclient-3.1.jar// commons-logging-1.0.4.jarpublic static String createhttpClient(String url, String param) {  HttpClient client = new HttpClient();  String response = null;  String keyword = null;  PostMethod postMethod = new PostMethod(url);//  try {//   if (param != null)//    keyword = new String(param.getBytes("gb2312"), "ISO-8859-1");//  } catch (UnsupportedEncodingException e1) {//   // TODO Auto-generated catch block//   e1.printStackTrace();//  }  // NameValuePair[] data = { new NameValuePair("keyword", keyword) };  // // 將表單的值放入postMethod中  // postMethod.setRequestBody(data);  // 以上部分是帶參數抓取,我自己把它注銷了.大家可以把注銷消掉研究下  try {   int statusCode = client.executeMethod(postMethod);   response = new String(postMethod.getResponseBodyAsString()     .getBytes("ISO-8859-1"), "gb2312");     //這里要注意下 gb2312要和你抓取網頁的編碼要一樣   String p = response.replaceAll("http://&[a-zA-Z]{1,10};", "")     .replaceAll("<[^>]*>", "");//去掉網頁中帶有html語言的標簽   System.out.println(p);  } catch (Exception e) {   e.printStackTrace();  }  return response;}// 第二種方法// 這種方法是JAVA自帶的URL來抓取網站內容public String getPageContent(String strUrl, String strPostRequest,   int maxLength) {  // 讀取結果網頁  StringBuffer buffer = new StringBuffer();  System.setProperty("sun.net.client.defaultConnectTimeout", "5000");  System.setProperty("sun.net.client.defaultReadTimeout", "5000");  try {   URL newUrl = new URL(strUrl);   HttpURLConnection hConnect = (HttpURLConnection) newUrl     .openConnection();   // POST方式的額外數據   if (strPostRequest.length() > 0) {    hConnect.setDoOutput(true);    OutputStreamWriter out = new OutputStreamWriter(hConnect      .getOutputStream());    out.write(strPostRequest);    out.flush();    out.close();   }   // 讀取內容   BufferedReader rd = new BufferedReader(new InputStreamReader(     hConnect.getInputStream()));   int ch;   for (int length = 0; (ch = rd.read()) > -1     && (maxLength <= 0 || length < maxLength); length++)    buffer.append((char) ch);   String s = buffer.toString();   s.replaceAll("http://&[a-zA-Z]{1,10};", "").replaceAll("<[^>]*>", "");   System.out.println(s);   rd.close();   hConnect.disconnect();   return buffer.toString().trim();  } catch (Exception e) {   // return "錯誤:讀取網頁失?。?;   //   return null;  }}

然后寫個測試類:

public static void main(String[] args) {  String url = "http://www.49028c.com";  String keyword = "武林網";  createhttpClient p = new createhttpClient();  String response = p.createhttpClient(url, keyword);  // 第一種方法  // p.getPageContent(url, "post", 100500);//第二種方法}

呵呵,看看控制臺吧,是不是把網頁的內容獲取了

希望本文所述對大家的java程序設計有所幫助。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
日韩欧美在线观看| 热99久久精品| 国产精品第一视频| 一道本无吗dⅴd在线播放一区| 中文欧美在线视频| 成人在线激情视频| 亚洲最大激情中文字幕| 欧美激情一级二级| 国产精品日韩电影| 最近2019中文字幕在线高清| 91九色国产社区在线观看| 亚洲综合日韩中文字幕v在线| www高清在线视频日韩欧美| 色婷婷综合成人| 久久亚洲精品国产亚洲老地址| 久久久久久com| 欧美日韩综合视频| 日韩av免费在线看| 日韩a**中文字幕| 欧美综合激情网| 亚洲一区二区久久久久久| 亚洲综合在线做性| 韩国福利视频一区| 国产精品日日做人人爱| 成人免费视频网| 久久精品久久久久| 亚洲成人xxx| 国产精品日日做人人爱| 欧美电影在线免费观看网站| 国内成人精品一区| 亚洲欧美日本精品| 日韩高清人体午夜| 精品露脸国产偷人在视频| 色综合视频网站| 欧美日韩国产91| 国产男人精品视频| 色香阁99久久精品久久久| 亚洲欧美日韩直播| 欧美一区在线直播| 欧美激情视频网站| 亚洲成年人在线播放| 欧美www在线| 日韩欧美综合在线视频| 国产噜噜噜噜噜久久久久久久久| 欧美在线激情视频| 亚洲天天在线日亚洲洲精| 91人成网站www| 欧美孕妇孕交黑巨大网站| 中文字幕在线看视频国产欧美在线看完整| 亚洲一区二区日本| 国产在线观看91精品一区| 国产一区二区黑人欧美xxxx| 久热精品视频在线| 中文字幕日韩av电影| 国产亚洲欧美视频| 久久99亚洲精品| 国产精品白嫩美女在线观看| 久久99热精品| 国产z一区二区三区| 欧美做爰性生交视频| 欧美色videos| 久久人人爽人人爽人人片av高清| 亚洲精品美女免费| 亚洲图片在线综合| 精品久久久久久电影| 欧美大片第1页| 国产亚洲人成网站在线观看| 国产欧美精品xxxx另类| 国产精品香蕉国产| 欧美一级免费看| 国产中文欧美精品| 国产一区二区三区直播精品电影| 欧美性生交大片免费| 久久久亚洲欧洲日产国码aⅴ| 亚洲xxxx妇黄裸体| 精品日韩中文字幕| 精品一区电影国产| 欧美性色19p| 国内精品久久久久影院 日本资源| 亚洲视频欧洲视频| 国产福利精品av综合导导航| 成人黄色免费在线观看| 久久久久久网址| 久久中文字幕在线| 在线国产精品视频| 51久久精品夜色国产麻豆| 欧美一区在线直播| 少妇高潮 亚洲精品| 91成人免费观看网站| 色偷偷av一区二区三区| 性色av一区二区三区在线观看| 成人黄色av播放免费| 狠狠爱在线视频一区| 国产亚洲精品久久久久久| 欧美丰满老妇厨房牲生活| 亚洲第一在线视频| 亚洲丝袜在线视频| 久久国产精品久久精品| 狠狠综合久久av一区二区小说| 日韩亚洲综合在线| 国产成人精品亚洲精品| 蜜臀久久99精品久久久无需会员| 亚洲一区二区三区成人在线视频精品| 91po在线观看91精品国产性色| 成人中心免费视频| 91伊人影院在线播放| 欧美又大粗又爽又黄大片视频| 日韩电影免费在线观看| 久久精品亚洲一区| 欧美大片在线免费观看| 色噜噜亚洲精品中文字幕| 日韩视频免费看| 亚洲欧洲日韩国产| 精品中文字幕在线2019| 亚洲一区二区在线| 97国产成人精品视频| 亚洲成人免费在线视频| 国产在线观看91精品一区| 欧美黄色片在线观看| 精品中文字幕在线| www国产精品com| 亚洲日韩欧美视频一区| 日韩亚洲第一页| 91沈先生作品| 国产精品成人一区二区三区吃奶| 国产成人精品久久| 国语自产偷拍精品视频偷| 欧美黄色小视频| 欧美国产日韩xxxxx| 精品人伦一区二区三区蜜桃网站| 国产精品高清在线观看| 欧美野外wwwxxx| 中文字幕最新精品| 日韩av最新在线| 成人免费福利在线| 亚洲美女动态图120秒| 91久久精品国产91性色| 久久久精品2019中文字幕神马| 韩国福利视频一区| 欧美激情一区二区久久久| 九九热视频这里只有精品| 亚洲国产高清高潮精品美女| 欧美亚洲另类在线| 国产精品尤物福利片在线观看| 亚洲一区二区三区在线视频| 日韩亚洲精品电影| 国产成人免费av| 91久久嫩草影院一区二区| 最近2019年手机中文字幕| 日韩在线观看免费全| 91精品综合久久久久久五月天| 国产在线视频一区| 亚洲片国产一区一级在线观看| 日韩在线视频线视频免费网站| 97超碰国产精品女人人人爽| 亚洲色图综合网| 欧美激情aaaa| 精品久久久久久国产91| 国产高清视频一区三区| 1769国内精品视频在线播放| 91久久久久久久| 欧美激情乱人伦一区| 在线播放国产精品| 中文字幕亚洲欧美日韩高清|