亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > Python > 正文

Python爬取qq空間說說的實例代碼

2020-02-15 22:45:57
字體:
來源:轉載
供稿:網友

具體代碼如下所示:

#coding:utf-8#!/usr/bin/python3from selenium import webdriverimport timeimport reimport importlib2import sysimportlib2.reload(sys)def startSpider():  driver = webdriver.Chrome('/Users/zachary/zachary/chromedriver.exe') #這個是chormedriver的地址  driver.get('https://qzone.qq.com/')  driver.switch_to.frame('login_frame')  driver.find_element_by_id('switcher_plogin').click()  driver.find_element_by_id('u').clear()  driver.find_element_by_id('u').send_keys('QQ號') #這里填寫你的QQ號  driver.find_element_by_id('p').clear()  driver.find_element_by_id('p').send_keys('QQ密碼') #這里填寫你的QQ密碼  driver.find_element_by_id('login_button').click()  time.sleep(2)  #設置爬取內容保存路徑  f = open('/Users/zachary/Documents/shuoshuo.txt','w')  #---------------獲得g_qzonetoken 和 gtk  html = driver.page_source  '''g_qzonetoken=re.search('window/.g_qzonetoken = /(function/(/)/{ try/{return (.*?);/} catch/(e/)',html)#從網頁源碼中提取g_qzonetoken'''  g_qzonetoken = "e794139a284d6ea9e0b26826e541b55df37d0667a3544f534de25aebdb64628d3ab75e1d7104bbb22a"  cookie = {}#初始化cookie字典  for elem in driver.get_cookies():#取cookies    cookie[elem['name']] = elem['value']  gtk=getGTK(cookie)#通過getGTK函數計算gtk  #print(g_qzonetoken)  #print(gtk)  #--------------獲得好友列表  注意下面的鏈接  driver.get('https://user.qzone.qq.com/proxy/domain/r.qzone.qq.com/cgi-bin/tfriend/friend_hat_get.cgi?hat_seed=1&uin=你的QQ號fupdate=1&g_tk='+str(gtk)+'&qzonetoken='+str(g_qzonetoken)+'&g_tk='+str(gtk))  friend_list = driver.page_source  friend_list = str( friend_list )  abtract_pattern = re.compile('/"(./d*)/":/{//n"realname":"(.*?)"}',re.S)  QQ_name_list = re.findall(abtract_pattern,str(friend_list)) #數組  print(QQ_name_list)  numList=dict()# numList => (QQnum:QQname) #列表  for i in QQ_name_list:    numList[str(i[0])]=str(i[1])  begin = 0  last_source = ""  tag = 1  first = 0  firstTime=""  #如果要爬取自己的說說,手動添加自己的qq號  #numList['你的qq號']='你的名字'  #print(numList)  for key in numList.keys():    QQnum = key    QQname = numList[QQnum]    if QQnum == "好友qq號": #根據qq號查找指定好友說說      count = 1      begin = 0      while tag==1 :        #-------------進入好友說說頁面                                    #'+QQnum+'       '+str(begin)+'        #print("Begin:"+str(begin))        driver.get('https://user.qzone.qq.com/proxy/domain/taotao.qq.com/cgi-bin/emotion_cgi_msglist_v6?uin='+QQnum+'&ftype=0&sort=0&pos='+str(begin)+'&num=40&replynum=200&g_tk='+str(gtk)+'&callback=_preloadCallback&code_version=1&format=jsonp&need_private_comment=1&qzonetoken='+str(g_qzonetoken)+'&g_tk='+str(gtk))        try:          msg_list_json = driver.page_source        except:          begin = begin + 40          continue        msg_list_json = str(msg_list_json)        if last_source==msg_list_json :          break        else:          last_source=msg_list_json        #檢測是否沒有權限訪問        abtract_pattern = re.compile(',"message":"(.*?)","name":',re.S)        message = re.findall(abtract_pattern,str(msg_list_json))        if message!=[]:          if str(message[0])=='對不起,主人設置了保密,您沒有權限查看':#對不起,主人設置了保密,您沒有權限查看            break        #print(msg_list_json)        #解析JSON        #webDriver沒有現成的JSON解析器,所以采用獲取源碼的方式,然后使用正則表達式獲取具體細節        msg_list_json = msg_list_json.split("msglist")[1]#拆分json,縮小范圍,也能加快解析速度        msg_list_json = msg_list_json.split("smoothpolicy")[0]        msg_list_json = msg_list_json.split("commentlist")[1:]        #說說動態分4種:1、文字說說(或帶有配圖的文字說說)        #       2、只有圖片的說說        #       3、轉發,并配有文字        #       4、轉發,不配文字        for text in msg_list_json:          # 1、先檢查說說,用戶是否發送了文字,如果沒有文字,正則表達式匹配無效          abtract_pattern = re.compile('/}/],"content":"(.*?)","createTime":"(.*?)","created_time":(.*?),"',re.S)          msg_time = re.findall(abtract_pattern,str(text))          if msg_time!=[]:            # 2、如果作者說說有文字,那么檢查是否有轉發內容            msg = str(msg_time[0][0])            sendTime = str(msg_time[0][1])            abtract_pattern = re.compile('/}/],"content":"(.*?)"},"rt_createTime":"(.*?)","',re.S)            text = text.split("created_time")[1]            msg_time2 = re.findall(abtract_pattern,str(text))            #合并發送內容 格式:評論+轉發內容            if msg_time2!=[]:              msg = msg +" 轉發內容:"+str(msg_time2[0][0])          else:            # 3、說說內容為空,檢查是否為 =>只有圖片的說說 or 轉發,不配文字            #獲取正文發送時間 (發送時間分為:正文發送時間 or 轉發時間)            abtract_pattern = re.compile('"conlist":null,"content":"","createTime":"(.*?)",',re.S)            msgNull_time = re.findall(abtract_pattern,str(text))            if msgNull_time!=[]:              #如果有正文發送時間,那么就是這條說說僅含有圖片 =>只有圖片的說說              msg = "圖片"              sendTime = str(msgNull_time[0])            else:              #如果沒有正文發送時間,那么就是說這條說為 =>轉發,不配文字              abtract_pattern = re.compile('/}/],"content":"(.*?)"},"rt_createTime":"(.*?)","',re.S)              msg_time = re.findall(abtract_pattern,str(text))              msg =" 轉發內容:"+str(msg_time[0][0])              sendTime = str(msg_time[0][1])          #寫入本地文件          #f.write('{},{},{},{}/n'.format(str(QQname),str(QQnum),sendTime,msg))          print(str(count)+" : "+str(QQname)+" : "+str(QQnum)+" : "+sendTime+" : "+msg)          count = count + 1        begin = begin + 40def getGTK(cookie):  hashes = 5381  for letter in cookie['p_skey']:    hashes += (hashes << 5) + ord(letter)  return hashes & 0x7fffffffstartSpider()print("爬取結束")            
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
精品久久久久久中文字幕一区奶水| 国产精品久久久久国产a级| 97免费视频在线| 在线日韩第一页| 欧美国产第一页| 欧美激情va永久在线播放| 精品久久久久久中文字幕大豆网| 国产精品一区二区性色av| 国产精品成人免费视频| 另类少妇人与禽zozz0性伦| 欧美日韩亚洲系列| 日韩成人激情在线| 亚洲国模精品一区| 日韩一区二区三区xxxx| 久久久人成影片一区二区三区| 国产精品成av人在线视午夜片| 久久视频在线免费观看| 亚洲福利在线视频| 欧美在线播放视频| 激情亚洲一区二区三区四区| 亚洲欧美国产精品专区久久| 国产美女主播一区| 国产大片精品免费永久看nba| 欧美日韩爱爱视频| 亚洲欧洲国产精品| 精品少妇一区二区30p| 91在线视频免费| 久久久久久久久久国产| 亚洲成人网在线| 欧美久久精品一级黑人c片| 亚洲一区二区中文字幕| 欧美精品成人91久久久久久久| 日韩欧美在线视频观看| 在线精品国产欧美| 日韩欧美成人精品| 不卡av电影在线观看| 亚洲天天在线日亚洲洲精| 国产精品免费久久久久影院| 亚洲精品视频在线观看视频| 欧美野外wwwxxx| 成人情趣片在线观看免费| 69**夜色精品国产69乱| 日本高清+成人网在线观看| 欧美高清激情视频| 欧美一区二区三区图| 日韩电影视频免费| 亚洲丝袜在线视频| 日韩在线观看免费全集电视剧网站| 国产婷婷成人久久av免费高清| 亚洲欧美综合精品久久成人| 欧美精品在线免费播放| 日韩中文字幕在线观看| 亚洲伊人成综合成人网| 日韩在线视频国产| 欧美大人香蕉在线| 欧美精品在线免费播放| 国产一区二区激情| 欧美成人午夜免费视在线看片| 欧美在线视频观看| 激情久久av一区av二区av三区| 亚洲欧美精品在线| 国产99视频精品免视看7| 97视频在线观看亚洲| 91网站在线看| 精品亚洲一区二区三区在线播放| 欧美激情中文字幕在线| 国产精品中文在线| 日韩成人激情视频| 国产午夜精品免费一区二区三区| 爽爽爽爽爽爽爽成人免费观看| 国产精品吹潮在线观看| 亚洲网站在线观看| 亚洲一区二区中文| 高清欧美一区二区三区| 亚洲成人网久久久| 国产精品极品尤物在线观看| 日韩av成人在线观看| 26uuu另类亚洲欧美日本一| 亚洲精品久久久久| 欧美性xxxx极品hd满灌| 91精品国产91久久久久久最新| 4438全国成人免费| 亚洲直播在线一区| 中文字幕免费精品一区高清| 国产精品ⅴa在线观看h| 亚洲一区二区三区香蕉| www.日本久久久久com.| 亚洲成人xxx| 中文字幕欧美专区| 国产精品露脸av在线| 午夜欧美不卡精品aaaaa| 亚洲欧美日韩中文在线| 日韩视频在线观看免费| 亚洲精品一区二三区不卡| 久久色精品视频| 亚洲女人天堂成人av在线| 北条麻妃一区二区在线观看| 久久91亚洲人成电影网站| 久久久久久91| 国产精品女视频| 日韩中文字幕在线免费观看| 欧美最猛性xxxxx免费| 亚洲精品视频中文字幕| 日韩中文字幕国产| 亚洲自拍在线观看| 久久久久久这里只有精品| 欧美福利视频在线| 亚洲国产欧美一区二区丝袜黑人| 伦伦影院午夜日韩欧美限制| 久久亚洲精品网站| 国产综合视频在线观看| 精品久久久久久久久久久久久久| 精品国产一区二区三区在线观看| 色在人av网站天堂精品| 久久国产天堂福利天堂| 亚洲第一页中文字幕| 在线观看国产精品日韩av| 国产福利精品av综合导导航| 成人性教育视频在线观看| 一夜七次郎国产精品亚洲| 欧美精品一本久久男人的天堂| 亚洲人成人99网站| 久久久国产视频| 亚洲理论电影网| 日韩国产欧美精品在线| 国产精品伦子伦免费视频| 亚洲美女动态图120秒| 国产日韩欧美成人| 欧美一级视频在线观看| 国产香蕉一区二区三区在线视频| 91视频免费在线| 亚洲日韩中文字幕在线播放| 亚洲欧美制服另类日韩| 亚洲精品一区二区三区婷婷月| 日韩免费中文字幕| 久久久精品2019中文字幕神马| 91精品国产自产91精品| 色先锋资源久久综合5566| 久久在线免费观看视频| 午夜精品福利电影| 日韩中文字幕在线| 夜夜狂射影院欧美极品| 国产精品99一区| 川上优av一区二区线观看| 亚洲国产精品电影在线观看| 成人免费看片视频| 国产日韩欧美自拍| 亚洲国产天堂网精品网站| 精品无码久久久久久国产| 亚洲女人天堂网| 国产成人精品一区二区三区| 亚洲人成电影网站色xx| 国产精品成人一区二区三区吃奶| 亚洲高清在线观看| 国产精品9999| 亚洲欧美综合精品久久成人| 日韩欧美成人区| 欧美日韩国产限制| 欧美电影第一页| 欧美二区在线播放| 清纯唯美亚洲激情| 国产成人涩涩涩视频在线观看| 欧美亚州一区二区三区| 日韩在线观看免费全集电视剧网站|