亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > Python > 正文

Python實現爬蟲抓取與讀寫、追加到excel文件操作示例

2020-02-15 22:03:10
字體:
來源:轉載
供稿:網友

本文實例講述了Python實現爬蟲抓取與讀寫、追加到excel文件操作。分享給大家供大家參考,具體如下:

爬取糗事百科熱門

安裝 讀寫excel 依賴 pip install xlwt
安裝 追加excel文件內容 依賴 pip install xlutils
安裝 lxml

Python示例:

import csvimport requestsfrom lxml import etreeimport timeimport xlwtimport osfrom xlutils.copy import copyimport xlrddata_infos_list = []headers = {  'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 '         '(KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'}# f = open('C://Users//Administrator//Desktop//qiubaibook.csv', 'a+', newline='', encoding='utf-8')# writer = csv.writer(f)# writer.writerow(('author', 'sex', 'rank', 'content', 'great', 'comment', 'time'))filename = 'C://Users//Administrator//Desktop//qiubaibook.xls'def get_info(url):  res = requests.get(url, headers=headers)  selector = etree.HTML(res.text)  # print(res.text)  htmls = selector.xpath('//div[contains(@class,"article block untagged mb15")]')  # // *[ @ id = "qiushi_tag_120024357"] / a[1] / div / span 內容  # //*[@id="qiushi_tag_120024357"]/div[2]/span[1]/i 好笑  # //*[@id="c-120024357"]/i 評論  # //*[@id="qiushi_tag_120024357"]/div[1]/a[2]/h2 作者  # //*[@id="qiushi_tag_120024357"]/div[1]/div 等級  # // womenIcon manIcon 性別  for html in htmls:    author = html.xpath('div[1]/a[2]/h2/text()')    if len(author) == 0:      author = html.xpath('div[1]/span[2]/h2/text()')    rank = html.xpath('div[1]/div/text()')    sex = html.xpath('div[1]/div/@class')    if len(sex) == 0:      sex = '未知'    elif 'manIcon' in sex[0]:      sex = '男'    elif 'womenIcon' in sex[0]:      sex = '女'    if len(rank) == 0:      rank = '-1'    contents = html.xpath('a[1]/div/span/text()')    great = html.xpath('div[2]/span[1]/i/text()') # //*[@id="qiushi_tag_112746244"]/div[3]/span[1]/i    if len(great) == 0:      great = html.xpath('div[3]/span[1]/i/text()')    comment = html.xpath('div[2]/span[2]/a/i/text()') # //*[@id="c-112746244"]/i    if len(comment) == 0:      comment = html.xpath('div[3]/span[2]/a/i/text()')    # classes = html.xpath('a[1]/@class')    # writer.writerow((author[0].strip(), sex, rank[0].strip(), contents[0].strip(), great[0].strip(),    #         comment[0].strip(), time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))))    data_infos = [author[0].strip(), sex, rank[0].strip(), contents[0].strip(), great[0].strip(),           comment[0].strip(), time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))]    data_infos_list.append(data_infos)def write_data(sheet, row):  for data_infos in data_infos_list:    j = 0    for data in data_infos:      sheet.write(row, j, data)      j += 1    row += 1if __name__ == '__main__':  urls = ['https://www.qiushibaike.com/8hr/page/{}/'.format(num) for num in range(1, 14)]  for url in urls:    print(url)    get_info(url)    time.sleep(2)  # 如果文件存在,則追加。如果文件不存在,則新建  if os.path.exists(filename):    # 打開excel    rb = xlrd.open_workbook(filename, formatting_info=True) # formatting_info=True 保留原有字體顏色等樣式    # 用 xlrd 提供的方法獲得現在已有的行數    rn = rb.sheets()[0].nrows    # 復制excel    wb = copy(rb)    # 從復制的excel文件中得到第一個sheet    sheet = wb.get_sheet(0)    # 向sheet中寫入文件    write_data(sheet, rn)    # 刪除原先的文件    os.remove(filename)    # 保存    wb.save(filename)  else:    header = ['author', 'sex', 'rank', 'content', 'great', 'comment', 'time']    book = xlwt.Workbook(encoding='utf-8')    sheet = book.add_sheet('糗百')    # 向 excel 中寫入表頭    for h in range(len(header)):      sheet.write(0, h, header[h])    # 向sheet中寫入內容    write_data(sheet, 1)    book.save(filename)            
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
成人看片人aa| 欧美精品久久久久久久| 亚洲国产精品yw在线观看| 国产精品国产福利国产秒拍| 亚洲aa中文字幕| 精品亚洲夜色av98在线观看| 欧美性xxxxx极品娇小| 欧美精品一区在线播放| 国自产精品手机在线观看视频| 在线观看日韩专区| 第一福利永久视频精品| 欧美片一区二区三区| 国产精品揄拍500视频| 狠狠综合久久av一区二区小说| 91天堂在线视频| 亚洲欧美日韩国产精品| 精品美女久久久久久免费| 亚洲精品91美女久久久久久久| 91精品成人久久| 高清欧美性猛交xxxx黑人猛交| 成人国产亚洲精品a区天堂华泰| 欧美视频中文字幕在线| 成人妇女淫片aaaa视频| 色综合久久88色综合天天看泰| 国产精品爱久久久久久久| 精品夜色国产国偷在线| 久久久久久97| 日韩精品在线看| 欧美与欧洲交xxxx免费观看| 日韩视频第一页| 7777kkkk成人观看| 精品露脸国产偷人在视频| 97人人做人人爱| 欧美激情视频免费观看| 亚洲三级黄色在线观看| 色诱女教师一区二区三区| 国产精品高潮视频| 日韩在线www| 久久福利视频导航| 伊人伊人伊人久久| 亚洲一区二区三区视频| 国产99久久精品一区二区 夜夜躁日日躁| 欧美大片在线影院| 久久精品亚洲94久久精品| 欧美日韩亚洲激情| 亚洲精品中文字| 国产精品视频导航| 日韩黄在线观看| 久久婷婷国产麻豆91天堂| 亚洲资源在线看| 国产精品十八以下禁看| 69视频在线免费观看| 日韩精品视频在线免费观看| 精品免费在线观看| 欧美性jizz18性欧美| 精品中文字幕在线观看| 中文字幕亚洲综合| 最近2019免费中文字幕视频三| 国产婷婷成人久久av免费高清| 欧美亚洲在线视频| 久久久天堂国产精品女人| 国产精品久久久久一区二区| 91国产精品视频在线| 不用播放器成人网| 欧美日韩国产页| 精品国产一区二区三区久久狼5月| 日韩欧美在线视频免费观看| 国产精品爱久久久久久久| 久久成年人视频| 久久久久久久久久久免费精品| 国产精品高清网站| 国产91精品视频在线观看| 日韩在线观看免费网站| 国模精品一区二区三区色天香| 97在线看福利| 亚洲激情中文字幕| 久久久久久久久久久91| 国产成人福利网站| 中文字幕亚洲欧美日韩2019| 91天堂在线视频| 亚洲国产91色在线| 日韩av日韩在线观看| 久久久免费av| 亚洲亚裔videos黑人hd| 久久视频精品在线| 亚洲精品91美女久久久久久久| 中文字幕不卡av| 中文字幕在线看视频国产欧美在线看完整| 欧美野外wwwxxx| 欧美激情中文字幕在线| 亚洲欧美色婷婷| 欧美性受xxxx黑人猛交| 国产一区二区美女视频| 成人日韩av在线| 亚洲电影在线观看| 韩剧1988在线观看免费完整版| 日本电影亚洲天堂| 精品人伦一区二区三区蜜桃网站| 成人免费淫片视频软件| 日韩a**中文字幕| 性色av一区二区三区红粉影视| 美日韩在线视频| 久久视频国产精品免费视频在线| 日韩有码在线观看| 亚洲男人天天操| 日韩中文有码在线视频| 成人做爰www免费看视频网站| 日本一区二区在线免费播放| 亚洲一区二区国产| 国产成人高清激情视频在线观看| 欧美日韩日本国产| 亚洲第一天堂无码专区| 91亚洲精品一区二区| 2021久久精品国产99国产精品| 国产成人精品亚洲精品| 国内外成人免费激情在线视频| 国产精品入口免费视频一| 日韩中文字幕在线视频| 韩曰欧美视频免费观看| 成人久久久久爱| 国产精品香蕉国产| 一区二区中文字幕| 欧美高清性猛交| 欧美一区深夜视频| 欧美疯狂做受xxxx高潮| 中文字幕无线精品亚洲乱码一区| 中文字幕日韩av| 欧美成人午夜剧场免费观看| 日韩美女在线看| 宅男66日本亚洲欧美视频| 最近2019中文免费高清视频观看www99| 欧美性感美女h网站在线观看免费| 中文字幕亚洲欧美一区二区三区| 影音先锋日韩有码| 狠狠色噜噜狠狠狠狠97| 久久精品国产亚洲精品2020| 国产91在线高潮白浆在线观看| 日韩欧美一区二区在线| 午夜精品视频网站| 性色av一区二区三区| 亚洲第一网站男人都懂| 国外成人免费在线播放| 国产日韩精品在线观看| 日韩av成人在线观看| 国内揄拍国内精品少妇国语| 欧美日韩中文字幕在线视频| 欧美一级黄色网| 国产日韩av在线| 久热精品视频在线免费观看| 成人啪啪免费看| 国产精品欧美激情| 欧美野外wwwxxx| 成人乱色短篇合集| 日韩欧中文字幕| 亚洲一区二区三区毛片| 亚洲精品福利免费在线观看| 国产伦精品免费视频| 亚洲欧洲午夜一线一品| 成人春色激情网| 亚洲女人天堂色在线7777| 欧美精品精品精品精品免费| 欧美午夜性色大片在线观看| 色多多国产成人永久免费网站| 欧美性猛交xxxx免费看漫画|