亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > Python > 正文

python 爬蟲一鍵爬取 淘寶天貓寶貝頁面主圖顏色圖和詳情圖的教程

2020-01-04 14:59:58
字體:
來源:轉載
供稿:網友

實例如下所示:

import requestsimport re,sys,osimport jsonimport threadingimport pprintclass spider: def __init__(self,sid,name):  self.id = sid self.headers = { "Accept":"text/html,application/xhtml+xml,application/xml;",  "Accept-Encoding":"gzip",  "Accept-Language":"zh-CN,zh;q=0.8",  "Referer":"http://www.example.com/",  "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.90 Safari/537.36"  }  self.name=name def openurl(self,url):  self.request = requests.get(url,headers = self.headers)  if self.request.ok:  return self.request.text   def matchs(self):  tmall_exp = r"Setup/(([/s/S]+?)/);"### 匹配商品數據的正則 detail= r"src=/"(https://img/S+?[jpgifn]+?)/"" ###匹配 商品詳情圖的正則 html = self.openurl("https://detail.tmall.com/item.htm?id=%s"%self.id) data = re.findall(tmall_exp,html) data = json.loads(data[0]) main_img = data['propertyPics'] ## 這里包括了主圖和顏色圖的地址 color_data =data['valItemInfo'] ['skuList'] ### 這里獲得商品的顏色信息列表 包括顏色編碼 顏色名稱,商品skuID detail_html = self.openurl("http:"+data['api']["httpsDescUrl"]) detail_image = re.findall(detail,detail_html) self.newdata={"MAIN":main_img['default'],"DETAIL":detail_image,"id":self.id,}  psvs = [] self.newdata['COLOR']=[]  for v in range(len(color_data)):  if ";"in color_data[v]["pvs"]:  psv = color_data[v]['pvs'][color_data[v]['pvs'].find(";")+1:]  else:  psv = color_data[v]['pvs']  if psv in psvs:    continue  psvs.append(psv)   self.newdata['COLOR'].append({color_data[v]["names"]:main_img[";"+psv+";"]})   pprint.pprint(self.newdata)  return self.newdata  def download(self): if len(self.newdata)>0:  for x in range(len(self.newdata['MAIN'])):    threading.Thread(target=self.download_main,args=(self.newdata['MAIN'][x],x)).start()    for x in self.newdata['COLOR']:    threading.Thread(target=self.download_color,args=(x,)).start()  for x in range(len(self.newdata['DETAIL'])):    threading.Thread(target=self.download_detail,args=(self.newdata['DETAIL'][x],x)).start() return def download_main(self,url,index): try:  img = requests.get("http:"+url,stream=True,headers = self.headers,timeout=10) except:  print(sys.exc_info())  return if img.ok:  if not os.path.exists(self.name+"/main"):  try:   os.makedirs(self.name+"/main")  except:   pass  imgs = open(self.name+"/main/%s.jpg"%index,"wb")  imgs.write(img.content)  imgs.close()   def download_color(self,url):   try:  img = requests.get("http:"+url[list(url.keys())[0]][0],stream=True,headers = self.headers,timeout=10) except:  print(sys.exc_info())  return if img.ok:  if not os.path.exists(self.name+"/color"):  try:   os.makedirs(self.name+"/color")  except:   pass  if "/"in list(url.keys())[0]:  color = list(url.keys())[0].replace("/","_")  elif "//" in list(url.keys())[0]:  color = list(url.keys())[0].replace("//","_")  else:  color = list(url.keys())[0]  imgs = open(self.name+"/color/%s.jpg"%color,"wb")  imgs.write(img.content)  imgs.close() def download_detail(self,url,index): try:  img = requests.get(url,stream=True,headers = self.headers,timeout=10) except:  print(sys.exc_info())  return if img.ok:  if not os.path.exists(self.name+"/detail"):  try:   os.makedirs(self.name+"/detail")  except:   pass    imgs = open(self.name+"/detail/%s.jpg"%index,"wb")  imgs.write(img.content)  imgs.close()  if __name__ =="__main__":  sid = 528766269341 ## 這里輸入天貓寶貝ID taobao = spider(sid,"下載圖片/T") taobao.matchs() taobao.download()

以上這篇python 爬蟲一鍵爬取 淘寶天貓寶貝頁面主圖顏色圖和詳情圖的教程就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持VEVB武林網。


注:相關教程知識閱讀請移步到python教程頻道。
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
日韩av中文字幕在线免费观看| 欧美乱大交xxxxx| 色先锋久久影院av| 欧美性xxxx极品hd欧美风情| 亚洲国产精品成人精品| 91精品在线观看视频| 国产视频久久网| 亚洲人成网站999久久久综合| 亚洲国产一区二区三区四区| 精品无人区乱码1区2区3区在线| 国产在线观看一区二区三区| 欧美最猛性xxxxx(亚洲精品)| 91久久在线观看| 亚洲国产又黄又爽女人高潮的| 96sao精品视频在线观看| 51午夜精品视频| 日韩中文字幕视频在线| 欧美极度另类性三渗透| 亚洲sss综合天堂久久| 国产97色在线|日韩| 成人精品网站在线观看| 538国产精品视频一区二区| 成人免费激情视频| 欧美精品www在线观看| 中国人与牲禽动交精品| 亚洲激情视频在线播放| 精品电影在线观看| 欧美日本啪啪无遮挡网站| 国产成人小视频在线观看| 欧美日韩成人在线视频| 日韩欧美999| 欧美激情精品久久久久久大尺度| 日韩美女av在线| 国产手机视频精品| 欧美综合一区第一页| 久久精品久久久久久国产 免费| 有码中文亚洲精品| 精品无码久久久久久国产| 日韩中文字幕在线视频播放| 中文字幕日韩视频| 国产精品对白刺激| 91在线高清免费观看| 色爱av美腿丝袜综合粉嫩av| 成人免费福利视频| 美女黄色丝袜一区| 欧美亚洲激情在线| 国产精品成人在线| 国产欧美欧洲在线观看| 久久综合伊人77777| 久久国产视频网站| 欧美自拍视频在线| 欧美激情一区二区久久久| 国产中文字幕91| 中文字幕视频在线免费欧美日韩综合在线看| 亚洲欧美日韩第一区| 91精品国产综合久久香蕉的用户体验| 久久久国产成人精品| 欧美午夜性色大片在线观看| 91wwwcom在线观看| 欧美日韩中文字幕综合视频| 日韩高清av一区二区三区| 亚洲成人av中文字幕| 国产精品一区二区三区久久| 国产精品嫩草影院久久久| 疯狂做受xxxx高潮欧美日本| 亚洲激情视频在线| 在线观看亚洲区| 久久97久久97精品免视看| 欧美日韩国产一区在线| 美女扒开尿口让男人操亚洲视频网站| 国产精品在线看| 影音先锋欧美精品| 国产一区私人高清影院| 66m—66摸成人免费视频| 国产亚洲欧洲高清一区| 日韩精品一区二区视频| 影音先锋欧美在线资源| 91牛牛免费视频| 国产欧美 在线欧美| 一夜七次郎国产精品亚洲| 亚洲欧美一区二区三区情侣bbw| 亚洲天堂一区二区三区| 精品欧美aⅴ在线网站| 欧美性猛交xxxx偷拍洗澡| 久久久久久香蕉网| 国产精品精品视频一区二区三区| 日本在线观看天堂男亚洲| 久久精品一区中文字幕| 亚洲欧美福利视频| 高清亚洲成在人网站天堂| 琪琪亚洲精品午夜在线| 日韩日本欧美亚洲| 亚洲欧美视频在线| 国产不卡一区二区在线播放| 97久久精品在线| 欧美日韩国产在线播放| 色偷偷噜噜噜亚洲男人| 亚洲人成网站免费播放| 日韩成人av网址| 久久免费视频这里只有精品| 国内伊人久久久久久网站视频| 亚洲第一精品自拍| 国产亚洲激情视频在线| 欧美中文字幕视频在线观看| 欧美乱大交做爰xxxⅹ性3| 亚洲一区二区三区xxx视频| 精品久久久久国产| 欧美黄色www| 精品国产乱码久久久久久虫虫漫画| 国产有码在线一区二区视频| 日韩欧美一区二区三区久久| 亚洲**2019国产| 黑人极品videos精品欧美裸| 国产亚洲精品高潮| 97色在线观看免费视频| 亚洲第一区第一页| 亚洲欧美日本伦理| 日韩亚洲精品视频| 日韩欧美主播在线| 日韩电影中文字幕在线观看| 亚洲人成绝费网站色www| 91亚洲va在线va天堂va国| 日韩av一区在线| 国产+成+人+亚洲欧洲| 日韩久久免费视频| 日韩在线观看免费全集电视剧网站| 成人亚洲综合色就1024| 中文字幕久热精品视频在线| 亚洲国产精品成人va在线观看| 日韩一区二区久久久| 日韩美女视频免费看| 亚洲天堂av图片| 国产精品影院在线观看| 国产欧美精品日韩精品| 精品久久久久久亚洲国产300| 色悠悠久久久久| 国产精品主播视频| 国产做受高潮69| 91网站免费观看| 性欧美在线看片a免费观看| 亚洲成人xxx| 久久国产天堂福利天堂| 欧美日韩在线免费观看| 久久久亚洲影院你懂的| 精品亚洲夜色av98在线观看| 欧美激情日韩图片| 日韩禁在线播放| 国产精品视频免费在线观看| 欧美激情a在线| 久久99视频免费| 精品国产网站地址| 欧美激情精品久久久| 久久手机精品视频| 精品成人国产在线观看男人呻吟| 国产精品流白浆视频| 国产欧美一区二区三区久久人妖| 欧美自拍大量在线观看| 精品欧美激情精品一区| 久久91精品国产| 国产免费久久av| 久久久999国产精品| 欧美一区深夜视频| 岛国av午夜精品| 91精品久久久久久久久久入口|