亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 學院 > 開發設計 > 正文

基于webmagic爬取并下載百度圖片

2019-11-14 09:03:28
字體:
來源:轉載
供稿:網友

最近想下載一些圖片,在一次一次另存為之后實在受不了了,于是寫了一個小程序直接把圖片下載下來

現把代碼貼出,以供參考吧

import com.alibaba.fastjson.JSONArray;import com.alibaba.fastjson.JSONObject;import us.codecraft.webmagic.Page;import us.codecraft.webmagic.Spider;import java.io.DataInputStream;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.net.MalformedURLException;import java.net.URL;import java.util.ArrayList;import java.util.List;/** * 下載百度圖片 * * @author bruce_q * @create 2017-02-03 11:12 **/public class DownloadPicture extends BasePRocessor{    static List<String> urls;    static List<String> names;    public void setUrls(List<String> urls) {        this.urls = urls;    }    public void setNames(List<String> names) {        this.names = names;    }    /**     * 下載圖片     * author:bruce_q     * 2017-2-5 20:47     *     * @param urlList     * @param nameList     */    private void downloadPicture(ArrayList<String> urlList,ArrayList<String> nameList,String key) {        URL url = null;        for (int i=0;i<urlList.size();i++) {            try {                url = new URL(urlList.get(i));                DataInputStream dataInputStream = new DataInputStream(url.openStream());                String imageName = i + ".jpg";                File file=new File("d://pic//"+key);    //設置下載路徑                if(!file.isDirectory()){                    file.mkdirs();                }                FileOutputStream fileOutputStream = new FileOutputStream(new File("d://pic//"+ key +"//"+ imageName.trim()));                byte[] buffer = new byte[1024];                int length;                while ((length = dataInputStream.read(buffer)) > 0) {                    fileOutputStream.write(buffer, 0, length);                }                dataInputStream.close();                fileOutputStream.close();            } catch (MalformedURLException e) {                e.printStackTrace();            } catch (IOException e) {                e.printStackTrace();            }        }    }    @Override    public void process(Page page) {        List<String> url_list = new ArrayList<>();        List<String> name_list = new ArrayList<>();        JSONObject jsonObject = (JSONObject) JSONObject.parse(page.getRawText());        JSONArray data = (JSONArray) jsonObject.get("data");        for(int i=0;i<data.size();i++){            String url = (String) data.getJSONObject(i).get("thumbURL");            String name = (String) data.getJSONObject(i).get("fromPageTitleEnc");            if(url!=null){                url_list.add(url);                name_list.add(name);            }        }        setUrls(url_list);        setNames(name_list);    }    public static void main(String[] args) {        String key = "乘風破浪";    //百度圖片 關鍵詞        DownloadPicture downloadPicture = new DownloadPicture();        ArrayList<String> nameList = new ArrayList<>();        ArrayList<String> urlList = new ArrayList<>();        for(int i=0;i<2;i++){   //控制爬取頁數,一頁30張圖片            String url = "https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&queryWord="+key+"&word="+key+"&pn="+i*3+"0";            Spider.create(new DownloadPicture())                .addUrl(url)                .run();            urlList.addAll(urls);            nameList.addAll(names);        }        downloadPicture.downloadPicture(urlList,nameList,key);    }}

圖片是能直接下載下來,誰有好的關鍵字(你懂得(*^__^*) )記得留言
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
欧美激情亚洲自拍| 夜夜躁日日躁狠狠久久88av| 国产999精品视频| 国产精品白丝jk喷水视频一区| 国外色69视频在线观看| 亚洲女成人图区| 亚洲欧美日韩国产成人| 久久精品国产v日韩v亚洲| 国产精品91久久| 国产精品扒开腿做| 久久久精品国产网站| 欧美日韩国产91| 欧美丰满片xxx777| 国产精品h片在线播放| 欧美黄色www| 91影院在线免费观看视频| 久久九九国产精品怡红院| 欧美巨大黑人极品精男| 欧美精品video| 亚洲欧美国产高清va在线播| 精品高清美女精品国产区| 日韩精品久久久久久久玫瑰园| 国产一区二区三区免费视频| 精品福利在线观看| 久久男人av资源网站| 精品久久久久久久久久久久久| 国内成人精品视频| 中文字幕国产亚洲2019| 欧美一级大片在线观看| 日本国产欧美一区二区三区| 欧美黑人一区二区三区| 日日狠狠久久偷偷四色综合免费| 中文字幕亚洲字幕| 91高清在线免费观看| 色多多国产成人永久免费网站| 国产精品自产拍高潮在线观看| 97在线精品视频| 久久久电影免费观看完整版| 国产精品一区二区三区久久久| 国产精品高清免费在线观看| 亚洲国产精彩中文乱码av在线播放| 久久久久久久亚洲精品| 久久精品电影网站| 国产精品色午夜在线观看| 国产男人精品视频| 国产在线a不卡| 国产精品第七十二页| 欧美专区在线观看| 欧美黑人狂野猛交老妇| 777777777亚洲妇女| 色综合天天狠天天透天天伊人| 国产精品一二三视频| 欧美一区二区视频97| 国产不卡精品视男人的天堂| 亚洲午夜久久久影院| 国产成人亚洲综合91精品| 日韩美女主播视频| 国产美女91呻吟求| 国产免费一区二区三区在线观看| 国产一区二区av| 亚洲美腿欧美激情另类| 欧美性xxxx极品hd欧美风情| 亚洲va久久久噜噜噜久久天堂| 欧美大荫蒂xxx| 少妇久久久久久| 亚洲深夜福利在线| 久久综合伊人77777蜜臀| 欧美激情网友自拍| 日韩不卡中文字幕| 久久精品中文字幕| 亚洲精品少妇网址| 中文字幕一区二区三区电影| 亚洲精品之草原avav久久| 欧美乱大交xxxxx另类电影| 黑人巨大精品欧美一区二区三区| 97国产精品视频人人做人人爱| 国产日产亚洲精品| 91免费综合在线| 欧美极品美女视频网站在线观看免费| 欧美高清在线视频观看不卡| 97国产真实伦对白精彩视频8| 日韩av电影国产| 亚洲精品456在线播放狼人| 亚洲美女免费精品视频在线观看| 国产精品99久久久久久人| 国产精品免费久久久久久| 国产精品18久久久久久首页狼| 国产乱肥老妇国产一区二| 亚洲男人天堂九九视频| 在线观看欧美日韩| 国产精品www色诱视频| 欧美乱大交xxxxx另类电影| 国产精品天天狠天天看| 亚洲福利小视频| 国产精品美女久久| 国产精品第8页| 97色在线视频观看| 国产精品96久久久久久又黄又硬| 亚洲色图狂野欧美| 日韩欧美精品中文字幕| 中文字幕无线精品亚洲乱码一区| 欧美国产日本高清在线| 国产日韩在线观看av| 精品国内自产拍在线观看| 中文字幕成人在线| 亚洲第一级黄色片| 亚洲美女又黄又爽在线观看| 亚洲3p在线观看| 欧美乱人伦中文字幕在线| 亚洲自拍另类欧美丝袜| 欧美日韩不卡合集视频| 国产精品成人aaaaa网站| 日韩精品日韩在线观看| 91免费国产网站| 国产精品h片在线播放| 国产精品久久久久久久久久99| 亚洲欧美中文字幕在线一区| 成人久久精品视频| 国内精品久久久久久| 岛国av在线不卡| 97色伦亚洲国产| 亚洲国语精品自产拍在线观看| 国产一区二区成人| 亚洲加勒比久久88色综合| 久久精品久久精品亚洲人| 国产精品亚洲一区二区三区| 中文字幕亚洲综合| 91夜夜未满十八勿入爽爽影院| 欧美日韩精品在线| 欧美中文字幕在线观看| 国产精品成人av性教育| 久久人91精品久久久久久不卡| 最近日韩中文字幕中文| 成人网在线视频| 一本大道久久加勒比香蕉| 亚洲欧洲国产一区| 亚洲综合国产精品| 日韩av中文在线| 91精品久久久久久综合乱菊| 日韩女优人人人人射在线视频| 色999日韩欧美国产| 亚洲成年网站在线观看| 亚洲一区中文字幕在线观看| 国产精品成人观看视频国产奇米| 亚洲欧美日本伦理| 亚洲资源在线看| 国产精品观看在线亚洲人成网| 亚洲aa在线观看| 国语自产精品视频在线看抢先版图片| y97精品国产97久久久久久| 欧美激情xxxxx| 91久久在线观看| 上原亚衣av一区二区三区| 精品国产一区二区三区四区在线观看| 欧美精品xxx| 在线成人激情视频| 欧美有码在线观看视频| 91精品国产高清久久久久久久久| 精品国产91久久久久久| 日韩成人在线免费观看| 欧美日韩亚洲91| 亚洲一区二区三区在线视频| 一区二区成人av| 欧美精品在线第一页|