亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 學院 > 開發設計 > 正文

基于webmagic爬取并下載百度圖片

2019-11-11 07:34:21
字體:
來源:轉載
供稿:網友

最近想下載一些圖片,在一次一次另存為之后實在受不了了,于是寫了一個小程序直接把圖片下載下來

現把代碼貼出,以供參考吧

import com.alibaba.fastjson.JSONArray;import com.alibaba.fastjson.JSONObject;import us.codecraft.webmagic.Page;import us.codecraft.webmagic.Spider;import java.io.DataInputStream;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.net.MalformedURLException;import java.net.URL;import java.util.ArrayList;import java.util.List;/** * 下載百度圖片 * * @author bruce_q * @create 2017-02-03 11:12 **/public class DownloadPicture extends BasePRocessor{    static List<String> urls;    static List<String> names;    public void setUrls(List<String> urls) {        this.urls = urls;    }    public void setNames(List<String> names) {        this.names = names;    }    /**     * 下載圖片     * author:bruce_q     * 2017-2-5 20:47     *     * @param urlList     * @param nameList     */    private void downloadPicture(ArrayList<String> urlList,ArrayList<String> nameList,String key) {        URL url = null;        for (int i=0;i<urlList.size();i++) {            try {                url = new URL(urlList.get(i));                DataInputStream dataInputStream = new DataInputStream(url.openStream());                String imageName = i + ".jpg";                File file=new File("d://pic//"+key);    //設置下載路徑                if(!file.isDirectory()){                    file.mkdirs();                }                FileOutputStream fileOutputStream = new FileOutputStream(new File("d://pic//"+ key +"//"+ imageName.trim()));                byte[] buffer = new byte[1024];                int length;                while ((length = dataInputStream.read(buffer)) > 0) {                    fileOutputStream.write(buffer, 0, length);                }                dataInputStream.close();                fileOutputStream.close();            } catch (MalformedURLException e) {                e.printStackTrace();            } catch (IOException e) {                e.printStackTrace();            }        }    }    @Override    public void process(Page page) {        List<String> url_list = new ArrayList<>();        List<String> name_list = new ArrayList<>();        JSONObject jsonObject = (JSONObject) JSONObject.parse(page.getRawText());        JSONArray data = (JSONArray) jsonObject.get("data");        for(int i=0;i<data.size();i++){            String url = (String) data.getJSONObject(i).get("thumbURL");            String name = (String) data.getJSONObject(i).get("fromPageTitleEnc");            if(url!=null){                url_list.add(url);                name_list.add(name);            }        }        setUrls(url_list);        setNames(name_list);    }    public static void main(String[] args) {        String key = "乘風破浪";    //百度圖片 關鍵詞        DownloadPicture downloadPicture = new DownloadPicture();        ArrayList<String> nameList = new ArrayList<>();        ArrayList<String> urlList = new ArrayList<>();        for(int i=0;i<2;i++){   //控制爬取頁數,一頁30張圖片            String url = "https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&queryWord="+key+"&word="+key+"&pn="+i*3+"0";            Spider.create(new DownloadPicture())                .addUrl(url)                .run();            urlList.addAll(urls);            nameList.addAll(names);        }        downloadPicture.downloadPicture(urlList,nameList,key);    }}

圖片是能直接下載下來,誰有好的關鍵字(你懂得(*^__^*) )記得留言
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
亚洲精品一区中文字幕乱码| 午夜精品一区二区三区视频免费看| 久久成人一区二区| 97在线视频免费看| 亚洲精品自拍视频| 精品视频在线导航| 欧美人与性动交| 久青草国产97香蕉在线视频| 成人激情在线观看| 欧美激情18p| 中文字幕亚洲欧美日韩高清| 国产视频久久网| 欧美国产精品日韩| 国产精品视频不卡| 91色在线观看| 在线播放国产一区中文字幕剧情欧美| 欧美视频一二三| 国产精品99久久久久久www| 国产精品美女免费| 综合国产在线视频| 中文字幕久热精品视频在线| 亚洲最大中文字幕| 日本精品视频在线| 午夜精品久久久久久久久久久久| 国产日韩综合一区二区性色av| 91国产一区在线| 国产精品a久久久久久| 亚洲久久久久久久久久| 久久久成人av| 国产精品 欧美在线| 精品国产成人在线| 国产综合在线看| 538国产精品视频一区二区| 欧美日韩xxxxx| 国产精品入口免费视| 亚洲精品久久久久久下一站| 91中文在线观看| 国产精品黄视频| 欧美日韩一区二区三区在线免费观看| 欧洲成人免费视频| 日本精品一区二区三区在线| 久久天天躁狠狠躁夜夜av| 国产精品久久久久久搜索| 久久久噜噜噜久久| 亚洲国产精品女人久久久| 精品视频久久久久久| 亚洲成人aaa| 2019中文字幕免费视频| 欧美一区在线直播| 久久最新资源网| 国产一区视频在线| 色妞色视频一区二区三区四区| 精品国产1区2区| 2019国产精品自在线拍国产不卡| 欧美亚洲成人免费| 日韩欧美中文在线| 91久久精品国产| 一本久久综合亚洲鲁鲁| 国产成人一区二区三区| 91在线视频免费| 亚洲精品720p| 国产精品爽爽ⅴa在线观看| 最近的2019中文字幕免费一页| 国产亚洲精品91在线| 伊人久久精品视频| 久久精品国产一区二区电影| 欧美日韩激情视频8区| 欧美日韩亚洲激情| 亚洲精品国精品久久99热一| 欧美另类69精品久久久久9999| 日韩视频第一页| 国产精品青草久久久久福利99| 最近2019年手机中文字幕| 久久免费视频网| 国产在线精品成人一区二区三区| 久久久久久久久久久国产| 亚洲精选一区二区| 色综合老司机第九色激情| 国产精品视频在线观看| 欧洲精品在线视频| 久久天天躁狠狠躁夜夜躁2014| 欧美午夜片在线免费观看| 亚洲电影免费观看高清完整版| 久久高清视频免费| 亚洲综合最新在线| 91av在线播放视频| 国产精品一区二区在线| 亚洲激情在线观看视频免费| 尤物九九久久国产精品的特点| 欧美成人午夜激情在线| 国产精品一区专区欧美日韩| 国产裸体写真av一区二区| 国产精品99久久久久久白浆小说| 成人午夜一级二级三级| 亚洲欧美一区二区三区在线| 欧美高清一级大片| 原创国产精品91| 北条麻妃久久精品| 一本色道久久综合狠狠躁篇的优点| 久久精品视频va| 丝袜美腿亚洲一区二区| 一区二区亚洲欧洲国产日韩| 欧美日本中文字幕| 欧美在线视频在线播放完整版免费观看| 51久久精品夜色国产麻豆| 国产91在线高潮白浆在线观看| 国产成人欧美在线观看| 久久久久久久久久久网站| 亚洲激情在线观看视频免费| 亚洲第一级黄色片| 久久久av亚洲男天堂| 日韩精品在线免费观看视频| 日本人成精品视频在线| 欧美亚洲第一页| 欧美色videos| 亚洲国产日韩欧美综合久久| 国产日韩欧美日韩大片| 91网站在线免费观看| 亚洲国产成人爱av在线播放| 国产精品1区2区在线观看| 91在线视频导航| 日韩欧美福利视频| 亚洲人成网站999久久久综合| 国产精品va在线| 欧美疯狂xxxx大交乱88av| 最近2019年好看中文字幕视频| 国产精品爽爽爽爽爽爽在线观看| 91精品国产高清久久久久久| 成人黄色av网| 日韩欧美精品免费在线| xxx欧美精品| 26uuu另类亚洲欧美日本老年| 清纯唯美亚洲综合| 欧美一级在线播放| 国产精品一区二区女厕厕| 亚洲xxxx18| 在线观看亚洲视频| 亚洲色图五月天| 亚洲欧美国产精品va在线观看| 精品久久久精品| 日韩国产欧美精品在线| 日韩网站免费观看高清| 欧美肥老太性生活视频| 日韩av片永久免费网站| 69**夜色精品国产69乱| 欧美在线中文字幕| 亚洲丁香婷深爱综合| 欧美电影《睫毛膏》| 原创国产精品91| 久久精品国产91精品亚洲| 色综合久综合久久综合久鬼88| 久久av中文字幕| 一区二区欧美日韩视频| 亚洲第一国产精品| 97在线观看免费| 成人性教育视频在线观看| 国产精品久久婷婷六月丁香| 亚洲欧美制服另类日韩| 欧美第一淫aaasss性| 亚洲免费精彩视频| 一本一道久久a久久精品逆3p| 992tv成人免费影院| 国产日韩欧美在线观看| 国产精品69久久久久|