亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 網站 > WEB開發 > 正文

用java去爬取別人的網頁上的內容

2024-04-27 15:19:17
字體:
來源:轉載
供稿:網友

在爬取別人的東西之前,我們需要做一些處理

1.我們先在eclipse中創建一個工程

3. http://mvnrepository.com/artifact/org.jsoup/jsoup/1.10.2,進入這個網站,將下面這段代碼復制下來

4.將copy的代碼照如下的方式處理

5.點擊保存,然后jsoup這個包就被我們引入,這時候就可以正式開始從網頁上爬取別人的資料了

package com;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.*;import java.util.ArrayList;import java.util.List;import java.util.Scanner;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;public class getPIcDemo {	//1.從多圖片的網頁中獲取眾多的圖片的地址,url代表網頁的網址	public static List getmanyPicAdress(String Url) {		List<String> list=new ArrayList<>();		try {//我們先將url網絡里面的			Document document=Jsoup.connect(Url).get();			//我們預先知道這個網頁里面的圖片的class屬性的“relative block works-detail hover-none works-img-box”是唯一的,			//所以就得到了這些元素			//這些元素里面就包含了想要的信息					Elements elements=document.getElementsByAttributeValue("class", "relative block works-detail hover-none works-img-box");//			在elements中我們獲取了多個element,element中就包含了網頁鏈接			for (int i = 0; i < elements.size(); i++) {//				循環輸出element,				Element element=elements.get(i);//				這時候,element.attr("href")就可以將href里面包含的網頁鏈接內容寫出來				list.add(element.attr("href"));			}					} catch (IOException e) {			// TODO Auto-generated catch block			e.PRintStackTrace();		}		return list;//我們用鏈表將所有的href里面的數據儲存起來,最好不要用數組,因為我們不知道href數據有多少個	}	//	2.第一個方法,我們用getmanyPicAdress方法獲取到了圖片的詳細地址,現在我們要做的,就是從圖片的詳細地址中獲取圖片的下載地址//	將第一個方法獲得的鏈表值作為參數傳入到函數中	public static List getPicAdress(List list) {		List<String> list1=new ArrayList<>();//		用循環讀取一個個的鏈表里的內容(圖片的詳細地址)		for(int i=0;i<list.size();i++){		try {//			新建一個string,用來存儲list里面的數據			String st=(String)list.get(i);//			將string讀取的數據存入到document中			Document document =Jsoup.connect(st).get();//			因為我們找到的關于圖片下載地址的唯一標識符,是class="works-img",先用elements將圖片的下載地址找到			Elements elements=document.getElementsByAttributeValue("class", "works-img");//			再用element讀出elements的數據				for(int m=0;m<elements.size();m++){					Element element=elements.get(m);//					最后用新的一個鏈表將數據裝起來,并且返回					list1.add(element.attr("src"));				}		} catch (IOException e) {						e.printStackTrace();		}		}		System.out.println(list1);//		返回數據所獲得的圖片下載地址的值		return list1;	}		//3.用下載地址,下載圖片//	將第二個方法返回的裝載圖片下載地址的鏈表作為參數返回鏈表	public static void test(List list) {				URL myurl;		InputStream is = null;		OutputStream os = null;				try {//			我們還是要用循環將鏈表里面的數據一個個讀取出來,讓后一個個的去下載			for (int i = 0; i < list.size(); i++) {//				還是用一個新的字符串去存儲list讀出來的數據				String string=(String) list.get(i);				//				因為涉及到圖片的存儲問題,名字顯然不能一樣,所以就讓從圖片的末尾的信息作為文件名//				從最后一個“/”開始讀取,				int beginIndex=string.lastIndexOf("/");//				文件名就以最后一個/開始,直到結束				String picName=string.substring(beginIndex+1);				//				下列是根據鏈接讀取圖片的信息并儲存的方法,不再贅述				myurl=new URL(string);				is=myurl.openConnection().getInputStream();				byte byte1[]=new byte[102400];				os=new FileOutputStream(picName);				int len;				while((len=is.read(byte1))!=-1){					os.write(byte1, 0, len);				}				os.flush();			}			os.close();			is.close();		} catch (MalformedURLException e) {			// TODO Auto-generated catch block			e.printStackTrace();		} catch (IOException e) {			// TODO Auto-generated catch block			e.printStackTrace();		}	}		public static void main(String[] args) {		test(getPicAdress(getmanyPicAdress("http://www.nipic.com/photo/jingguan/index.html")));	}}
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
国产一区二区三区精品久久久| 久久躁狠狠躁夜夜爽| 91po在线观看91精品国产性色| 91成人国产在线观看| 91精品视频大全| 欧美成人全部免费| 亚洲毛片在线免费观看| 爽爽爽爽爽爽爽成人免费观看| 国产激情视频一区| 欧美一区二区色| 久久久久久久网站| 国产精品视频不卡| 欧美最猛性xxxxx亚洲精品| 欧美高清电影在线看| 日韩成人激情视频| 国产精品情侣自拍| 欧美专区在线视频| 日韩激情视频在线| 奇米4444一区二区三区| 久久精品小视频| 国产日韩中文在线| 欧美最猛黑人xxxx黑人猛叫黄| 韩国19禁主播vip福利视频| 欧美激情久久久久久| 亚洲国产又黄又爽女人高潮的| 亚洲摸下面视频| 亚洲天堂第一页| 性色av一区二区三区| 国产精品久久久久aaaa九色| 久久69精品久久久久久久电影好| 亚洲大胆人体av| 欧美激情视频播放| 亚洲精品成a人在线观看| 91久久精品美女| 国产精品久久97| 欧美性xxxxx极品娇小| 亚洲欧洲高清在线| 亚洲欧洲在线观看| 国产成人av在线| 亚洲色图五月天| 在线观看欧美www| 国产mv免费观看入口亚洲| 精品日韩视频在线观看| 亚洲午夜性刺激影院| 日韩欧美亚洲国产一区| 国产网站欧美日韩免费精品在线观看| 国产日韩欧美黄色| 欧美精品videos性欧美| 国产乱人伦真实精品视频| 日韩精品久久久久久福利| 亲爱的老师9免费观看全集电视剧| 亚洲精品一区中文| 久久久久久久久国产精品| 国产精品白嫩美女在线观看| 日韩电影大片中文字幕| 成人黄色在线播放| 欧美重口另类videos人妖| 久久影视电视剧免费网站| 日本精品一区二区三区在线播放视频| 精品香蕉在线观看视频一| 992tv成人免费视频| 国产精品99久久久久久白浆小说| 懂色av中文一区二区三区天美| 国产精品视频白浆免费视频| 亚洲自拍小视频免费观看| 亚洲97在线观看| 日韩在线一区二区三区免费视频| 影音先锋日韩有码| 国产精品va在线播放我和闺蜜| 一个人看的www欧美| 国产精品va在线播放我和闺蜜| 国产欧美日韩免费| 日本中文字幕久久看| 欧美日韩美女在线| 国产美女被下药99| 久久精品中文字幕| 91精品国产91久久久久福利| 成人国产精品一区二区| 国产色婷婷国产综合在线理论片a| 日韩欧美黄色动漫| 欧美日韩在线一区| 国产69精品久久久久9999| 亚洲精品久久久久久下一站| 国产大片精品免费永久看nba| 欧美中文字幕在线观看| 国产精品91一区| 亚洲天堂男人天堂女人天堂| 中文字幕日韩精品在线| 亚洲视频专区在线| 国产一区二区三区直播精品电影| 精品中文字幕久久久久久| 国产视频精品自拍| 欧美日韩亚洲系列| 精品无人区太爽高潮在线播放| 国产精品欧美风情| 97精品一区二区视频在线观看| 久久久免费观看| 国产久一一精品| 国产精品视频导航| www国产91| 国模精品一区二区三区色天香| 色樱桃影院亚洲精品影院| 亚洲成人精品久久久| 亚洲男女自偷自拍图片另类| 日韩欧美中文字幕在线观看| 亚洲国产成人一区| 精品久久中文字幕| 国产不卡av在线| 亚洲jizzjizz日本少妇| 97精品视频在线观看| 日韩av在线网址| 黑人巨大精品欧美一区二区| 97色在线视频观看| 中文字幕在线成人| 亚洲激情自拍图| 欧美伦理91i| 亚洲在线观看视频网站| 欧美在线精品免播放器视频| 97色在线视频观看| 亚洲女性裸体视频| 久久欧美在线电影| 国产精品自产拍在线观| 九九久久久久99精品| 中文字幕一精品亚洲无线一区| 日韩欧美极品在线观看| 91在线精品播放| 77777少妇光屁股久久一区| 岛国av一区二区在线在线观看| 国产精品极品在线| 51久久精品夜色国产麻豆| 97视频在线观看免费高清完整版在线观看| 亚洲国产成人精品久久久国产成人一区| 欧美激情一级欧美精品| 日韩69视频在线观看| 国产欧美va欧美va香蕉在| 日av在线播放中文不卡| 亚洲伊人成综合成人网| 国产精品99久久久久久www| 久久久久久av| 91系列在线播放| 欧美日韩一区二区在线播放| 97不卡在线视频| 91影院在线免费观看视频| 最近2019免费中文字幕视频三| 亚洲一区亚洲二区| 精品久久久久久久久久久| 亚洲成人av资源网| 国自产精品手机在线观看视频| 国产成人+综合亚洲+天堂| 欧美高跟鞋交xxxxxhd| 亚洲精品一区av在线播放| 亚洲国产婷婷香蕉久久久久久| 成人黄色免费在线观看| 欧美性理论片在线观看片免费| 亚洲石原莉奈一区二区在线观看| 欧美大片在线看免费观看| 日韩欧美亚洲范冰冰与中字| 亚洲欧洲一区二区三区在线观看| 亚洲欧美色图片| 91chinesevideo永久地址| 97人人爽人人喊人人模波多| 国产精品丝袜白浆摸在线| 欧美肥婆姓交大片| 国模吧一区二区三区|