亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > Python > 正文

多線程爬蟲批量下載pcgame圖片url 保存為xml的實現代碼

2020-02-23 04:48:53
字體:
來源:轉載
供稿:網友

代碼如下:
#coding=gbk
from xml.dom import minidom,Node
import urllib2,re,os
def readsrc(src):
    try:
        url = urllib2.urlopen(src)
        content = url.read()#.decode('utf-8')
        return content
    except:
        print 'error'
        return None
def pictype(content):
    '''
    通過抓取網站導航欄,獲得網站的圖片類型
    返回列表,每個列表元素為一個字典,addr代表圖片類型對于的鏈接,name代表圖片類型的名稱
    錯誤會返回None
    '''
    p = re.compile(r'<ul>(.*)</ul>',re.S)
    r=p.search(content)
    if r:
        content=r.group()
    else:
        print None
    p = re.compile(r'<li/s*.*?>/s*<a href *= *"(?P<addr>.*?)">(?P<name>.*?)/s*</a>/s*</li>')

    l = [i.groupdict() for i in p.finditer(content)]
    l=l[1:]
    if len(l):return l
    else:return None
def pageinfo(src):
    '''
    獲取一個頁面的詳細信息
    返回對于的字典列表
    name:圖片的名字
    cutaddr:縮小的瀏覽圖
    picaddr:實際圖片的地址
    '''
    d=os.path.split(src)[0]
    try:
        url = urllib2.urlopen(src)
        content = url.read()#.decode('utf-8')
    except:
        print 'error'
        return None
    #find all the pictures info in a page
    p = re.compile(r'<ul.*?>(.*?)</ul>',re.S)
    r = p.findall(content)
    if not r: return None
    r = r[1]
    p = re.compile(r'<li><a href="(?P<picaddr>.*?)".*?><img.*?alt="(?P<name>.*?)" *src="(?P<cutaddr>.*?)" */></a>.*?</li>')
    l = [ i.groupdict() for i in p.finditer(r)]
    for i in l:
        i['picaddr']=d+'/'+i['picaddr']
    if len(l): return l
    else: return None

def nextpageaddr(src):
    '''
    從頁面的html源碼中獲取下一個頁面地址的名稱,最后一頁返回None
    '''

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
日韩精品高清在线| 国产精品爽爽爽爽爽爽在线观看| 亚洲国产欧美一区二区三区同亚洲| 国产精品吹潮在线观看| 久久精品视频亚洲| 欧美黄色成人网| 欧美中文字幕视频| 精品国产一区久久久| 一区二区福利视频| 国产做受高潮69| 久久综合久久88| 亚洲国产精品va在线观看黑人| 午夜精品久久久久久久99黑人| 亚洲欧洲美洲在线综合| 亚洲国内精品视频| 欧美激情久久久久久| 国内伊人久久久久久网站视频| 亚洲美女精品久久| 国产午夜精品麻豆| 欧美在线视频一区二区| 欧美精品在线视频观看| 夜夜嗨av色一区二区不卡| 色一情一乱一区二区| 成人美女免费网站视频| 国语自产精品视频在线看抢先版图片| 日韩中文字幕精品视频| 亚洲天堂日韩电影| 欧美日在线观看| 日韩欧美精品在线观看| 国产精品成人一区二区三区吃奶| 亚洲欧美国产一本综合首页| 成人免费激情视频| 日韩高清人体午夜| 欧美精品久久久久久久久久| 91国产美女在线观看| 国产午夜精品免费一区二区三区| 中文综合在线观看| 国产一区二区黑人欧美xxxx| 成人久久一区二区三区| 亚洲第一色中文字幕| 亚洲国产精品网站| 国产午夜精品美女视频明星a级| 久久精品国产一区| 影音先锋欧美精品| 精品国产自在精品国产浪潮| 91在线免费观看网站| 中文字幕欧美视频在线| 国产一区二区精品丝袜| 日韩电影中文字幕在线观看| 亚洲精品国产欧美| 国产精品尤物福利片在线观看| 久久国产加勒比精品无码| 亚洲欧美成人网| 亚洲天堂av女优| 国产国语刺激对白av不卡| 中文字幕日韩欧美| 国产精品久久久亚洲| 91在线观看欧美日韩| 亚洲第一区第一页| 久久人人爽人人爽爽久久| 亚洲性视频网站| 久久国产精品免费视频| 国产成人在线一区二区| 欧美日韩国产一区二区| 日韩精品一区二区视频| 亚洲免费视频在线观看| 久久久精品久久| 91久久综合亚洲鲁鲁五月天| 国产亚洲精品日韩| 国产成人亚洲综合91| 亚洲国产成人爱av在线播放| 中日韩美女免费视频网站在线观看| 韩国三级电影久久久久久| 5278欧美一区二区三区| 一区二区亚洲精品国产| 久久久久久久久久久人体| 色av吧综合网| 欧美人与性动交a欧美精品| 97国产成人精品视频| 国产美女久久精品香蕉69| 亚洲人a成www在线影院| 国产精品老女人视频| 亚洲xxxx做受欧美| 国产成人avxxxxx在线看| 91精品国产综合久久久久久久久| 亚洲精品久久7777777| 91网站在线看| 久久久久久久一区二区三区| 97超碰色婷婷| 国产成人鲁鲁免费视频a| 国模吧一区二区| 视频在线一区二区| 亚洲人成五月天| 亚洲欧洲在线视频| 国产精品激情av电影在线观看| www.亚洲人.com| 国产精品日韩久久久久| 欧美日韩另类字幕中文| 91av网站在线播放| 亚洲精品视频免费在线观看| 久久久亚洲精选| 亚洲午夜久久久久久久| 国产福利精品在线| 国产精品久久久久久久av电影| 亚洲成av人影院在线观看| 欧美日韩另类在线| 日韩电影视频免费| 日韩成人在线视频观看| 日韩中文字幕网址| 亚洲精品国产精品久久清纯直播| 色偷偷偷综合中文字幕;dd| 亚洲男女性事视频| 亚洲电影在线观看| 深夜福利一区二区| 欧美大荫蒂xxx| 国产成人在线一区二区| 高潮白浆女日韩av免费看| 久操成人在线视频| 国产成人精品亚洲精品| 欧美日韩国产综合视频在线观看中文| 91亚洲国产成人久久精品网站| 国产精品jvid在线观看蜜臀| 91国语精品自产拍在线观看性色| 日韩成人av在线播放| 亚洲午夜精品视频| 美女扒开尿口让男人操亚洲视频网站| 性色av一区二区三区在线观看| 久久视频在线免费观看| 久精品免费视频| 久久久精品久久久| 久久国内精品一国内精品| 黑人巨大精品欧美一区二区三区| 美女视频久久黄| 欧美激情中文网| 国产精品白嫩初高中害羞小美女| 国产欧美精品一区二区三区介绍| 久久精品99久久香蕉国产色戒| 成人国产在线激情| 久久免费高清视频| 日本aⅴ大伊香蕉精品视频| 91久久久国产精品| 亚洲欧美国产日韩中文字幕| 国产不卡一区二区在线播放| 日韩在线视频免费观看高清中文| 午夜精品99久久免费| 欧美极品在线视频| 国产成人精品在线播放| 一区二区三欧美| 4438全国成人免费| 亚洲人线精品午夜| 亚洲国产高清自拍| 91高清免费在线观看| 久久精品国产96久久久香蕉| 精品国产精品三级精品av网址| 亚洲欧美一区二区三区情侣bbw| 久久久久久尹人网香蕉| 久久精品小视频| 国产精品丝袜白浆摸在线| 精品无人区太爽高潮在线播放| 国外色69视频在线观看| 国产精品免费看久久久香蕉| 国产精品激情av电影在线观看| 国产亚洲精品久久| 国产成人精品在线|