亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 學院 > 開發設計 > 正文

基于webmagic爬取并下載百度圖片

2019-11-11 06:26:38
字體:
來源:轉載
供稿:網友

最近想下載一些圖片,在一次一次另存為之后實在受不了了,于是寫了一個小程序直接把圖片下載下來

現把代碼貼出,以供參考吧

import com.alibaba.fastjson.JSONArray;import com.alibaba.fastjson.JSONObject;import us.codecraft.webmagic.Page;import us.codecraft.webmagic.Spider;import java.io.DataInputStream;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.net.MalformedURLException;import java.net.URL;import java.util.ArrayList;import java.util.List;/** * 下載百度圖片 * * @author bruce_q * @create 2017-02-03 11:12 **/public class DownloadPicture extends BasePRocessor{    static List<String> urls;    static List<String> names;    public void setUrls(List<String> urls) {        this.urls = urls;    }    public void setNames(List<String> names) {        this.names = names;    }    /**     * 下載圖片     * author:bruce_q     * 2017-2-5 20:47     *     * @param urlList     * @param nameList     */    private void downloadPicture(ArrayList<String> urlList,ArrayList<String> nameList,String key) {        URL url = null;        for (int i=0;i<urlList.size();i++) {            try {                url = new URL(urlList.get(i));                DataInputStream dataInputStream = new DataInputStream(url.openStream());                String imageName = i + ".jpg";                File file=new File("d://pic//"+key);    //設置下載路徑                if(!file.isDirectory()){                    file.mkdirs();                }                FileOutputStream fileOutputStream = new FileOutputStream(new File("d://pic//"+ key +"//"+ imageName.trim()));                byte[] buffer = new byte[1024];                int length;                while ((length = dataInputStream.read(buffer)) > 0) {                    fileOutputStream.write(buffer, 0, length);                }                dataInputStream.close();                fileOutputStream.close();            } catch (MalformedURLException e) {                e.printStackTrace();            } catch (IOException e) {                e.printStackTrace();            }        }    }    @Override    public void process(Page page) {        List<String> url_list = new ArrayList<>();        List<String> name_list = new ArrayList<>();        JSONObject jsonObject = (JSONObject) JSONObject.parse(page.getRawText());        JSONArray data = (JSONArray) jsonObject.get("data");        for(int i=0;i<data.size();i++){            String url = (String) data.getJSONObject(i).get("thumbURL");            String name = (String) data.getJSONObject(i).get("fromPageTitleEnc");            if(url!=null){                url_list.add(url);                name_list.add(name);            }        }        setUrls(url_list);        setNames(name_list);    }    public static void main(String[] args) {        String key = "乘風破浪";    //百度圖片 關鍵詞        DownloadPicture downloadPicture = new DownloadPicture();        ArrayList<String> nameList = new ArrayList<>();        ArrayList<String> urlList = new ArrayList<>();        for(int i=0;i<2;i++){   //控制爬取頁數,一頁30張圖片            String url = "https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&queryWord="+key+"&word="+key+"&pn="+i*3+"0";            Spider.create(new DownloadPicture())                .addUrl(url)                .run();            urlList.addAll(urls);            nameList.addAll(names);        }        downloadPicture.downloadPicture(urlList,nameList,key);    }}

圖片是能直接下載下來,誰有好的關鍵字(你懂得(*^__^*) )記得留言
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
国产日韩欧美综合| 久久精品国产精品亚洲| 日韩极品精品视频免费观看| 97精品国产aⅴ7777| 亚洲欧美日韩国产精品| 欧美黑人狂野猛交老妇| 久久99久国产精品黄毛片入口| 亚洲精美色品网站| 亚洲性视频网址| 亚洲free嫩bbb| 91网站在线免费观看| 日韩精品视频在线观看免费| 91伊人影院在线播放| 久久久999精品免费| 亚洲精品国产品国语在线| 国产精品久久久久久久久久久新郎| 亚洲成人国产精品| …久久精品99久久香蕉国产| 日韩av网站在线| 上原亚衣av一区二区三区| 久久精品视频在线观看| 在线精品高清中文字幕| 成人免费视频在线观看超级碰| 一本大道香蕉久在线播放29| 亚洲精品日韩在线| 日韩成人中文字幕在线观看| 国产91精品久久久久久| 中文字幕精品www乱入免费视频| 国产精品一香蕉国产线看观看| 欧美日韩免费在线| 日韩精品免费视频| 中日韩午夜理伦电影免费| xxx欧美精品| 欧美日韩亚洲视频一区| 久久99国产综合精品女同| 国产精品嫩草影院一区二区| 国产成人一区二区三区小说| 成人免费网站在线观看| www.亚洲一二| 精品视频久久久久久久| 91网站在线看| 亚洲国产精品yw在线观看| 久久91精品国产91久久跳| 久久全球大尺度高清视频| 国产丝袜一区视频在线观看| 日韩电影大片中文字幕| 国产精品男女猛烈高潮激情| 一区二区三区在线播放欧美| 亚洲日本中文字幕免费在线不卡| 欧美日韩一区二区在线播放| 欧美激情2020午夜免费观看| 欧美激情一级精品国产| 亚洲a级在线播放观看| 懂色av影视一区二区三区| 姬川优奈aav一区二区| 欧美成人免费大片| 欧美成人精品一区二区三区| 国产精品福利在线| 欧美精品在线观看91| 在线观看日韩av| 亚洲欧美国产一区二区三区| 91久久久亚洲精品| 亚洲夜晚福利在线观看| 在线视频日韩精品| 国内精品400部情侣激情| 久久福利视频导航| 欧美激情一区二区三区高清视频| 91免费看片网站| 亚洲成av人影院在线观看| 精品久久久久久久久国产字幕| 日韩免费在线播放| 欧美黄色性视频| 日韩av123| 日韩精品极品在线观看播放免费视频| 最近2019中文字幕大全第二页| 亚洲电影天堂av| 精品露脸国产偷人在视频| 欧美另类极品videosbestfree| 亚洲精品资源美女情侣酒店| 岛国av一区二区三区| 久久亚洲国产精品成人av秋霞| 亚洲美女自拍视频| 亚洲人精选亚洲人成在线| 亚洲精品国产综合久久| 久久99精品视频一区97| 色噜噜狠狠狠综合曰曰曰88av| 国产区亚洲区欧美区| 欧美色道久久88综合亚洲精品| 亚洲男女自偷自拍图片另类| 欧美日韩中文字幕| 米奇精品一区二区三区在线观看| 亚洲伊人一本大道中文字幕| 亚洲欧洲在线看| 欧洲中文字幕国产精品| 午夜精品久久久久久久男人的天堂| 久久久久在线观看| 亲爱的老师9免费观看全集电视剧| 欧美在线激情网| 久久国产精品影视| 国产精品中文在线| 久久人人97超碰精品888| 国产精品中文字幕久久久| 68精品国产免费久久久久久婷婷| 久久精品国产亚洲一区二区| 国产mv免费观看入口亚洲| 日韩中文在线中文网在线观看| 不卡伊人av在线播放| www.亚洲免费视频| 久久久久久久久国产精品| 日韩在线观看av| 17婷婷久久www| 国产亚洲人成网站在线观看| 欧美贵妇videos办公室| 97碰碰碰免费色视频| 欧美激情aaaa| 国产精品自产拍在线观看中文| 亚洲欧美日韩国产精品| 日韩精品亚洲精品| 国产精品久久久久99| 久久激情视频免费观看| 久久国产色av| 欧美日产国产成人免费图片| 日本欧美在线视频| 欧美大片第1页| 国产精品日日摸夜夜添夜夜av| 欧美黄网免费在线观看| 91色在线观看| 久久伊人精品天天| 亚洲天堂成人在线视频| 国产精品久久久久久久久久ktv| 亚洲综合视频1区| 国内精品中文字幕| 在线视频欧美日韩| 欧美裸体xxxx极品少妇| 伊是香蕉大人久久| 欧美xxxx综合视频| 国模吧一区二区三区| 色香阁99久久精品久久久| 日韩美女视频中文字幕| 国产成人在线视频| 久久精品国产一区| 日韩美女av在线免费观看| 久久不射电影网| 亚洲精选中文字幕| 日韩av色综合| 日韩精品中文字幕视频在线| 亚洲偷熟乱区亚洲香蕉av| 97热在线精品视频在线观看| 国产精品久久久久久久7电影| 成人黄色中文字幕| 亚洲免费人成在线视频观看| 久久精品视频导航| 日韩成人中文电影| 日韩久久午夜影院| 国产精品久久电影观看| 欧美激情视频一区二区三区不卡| 国产精品视频免费观看www| 国产美女被下药99| 日韩精品在线免费| 久久久久久久一| 日本欧美精品在线| 亚洲摸下面视频| 国内精品久久久久久中文字幕| 91九色在线视频|