亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > Python > 正文

Python使用Beautiful Soup包編寫爬蟲時的一些關鍵點

2020-01-04 17:49:46
字體:
來源:轉載
供稿:網友
這篇文章主要介紹了Python使用Beautiful Soup包編寫爬蟲時的一些關鍵點,文中講到了parent屬性的使用以及soup的編碼問題,需要的朋友可以參考下
 

1.善于利用soup節點的parent屬性

比如對于已經得到了如下html代碼:

<td style="padding-left:0" width="60%"><label>November</label><input type="Hidden" id="cboMonth1" name="cboMonth1" value="11"></td><td style="padding-right:0;" width="40%">  <label>2012</label>  <input type="Hidden" id="cboYear1" name="cboYear1" value="2012"></td>

的soup變量eachMonthHeader了。

想要提取其中的

Month的label的值:November

和Year的label的值:2012

最簡單,也是最省事的辦法是,直接搜兩個label,然后肯定會找到這兩個label,然后分別對應著Month和Year的label,然后獲得對應的string即可:

foundTwoLabel = eachMonthHeader.findAll("label");print "foundTwoLabel=",foundTwoLabel;monthLabel = foundTwoLabel[0];yearLabel = foundTwoLabel[1]; monthStr = monthLabel.string;yearStr = yearLabel.string; print "monthStr=",monthStr; # monthStr= Novemberprint "yearStr=",yearStr; # yearStr= 2012

但是很明顯,這樣的邏輯性很不好,而且萬一處理多個這樣的soup變量,而且兩者的順便顛倒了,那么結果也就錯誤了。

此時,可以考慮利用soup變量的parent屬性,從一個soup變量本身,獲得其上一級的soup變量。
示例代碼如下:

# <td style="padding-left:0" width="60%"><label>November</label># <input type="Hidden" id="cboMonth1" name="cboMonth1" value="11"># </td><td style="padding-right:0;" width="40%">  # <label>2012</label>  # <input type="Hidden" id="cboYear1" name="cboYear1" value="2012"># </td>foundCboMonth = eachMonthHeader.find("input", {"id":re.compile("cboMonth/d+")});#print "foundCboMonth=",foundCboMonth;tdMonth = foundCboMonth.parent;#print "tdMonth=",tdMonth;tdMonthLabel = tdMonth.label;#print "tdMonthLabel=",tdMonthLabel;monthStr = tdMonthLabel.string;print "monthStr=",monthStr; foundCboYear = eachMonthHeader.find("input", {"id":re.compile("cboYear/d+")});#print "foundCboYear=",foundCboYear;tdYear = foundCboYear.parent;#print "tdYear=",tdYear;tdYearLabel = tdYear.label;#print "tdYearLabel=",tdYearLabel;yearStr = tdYearLabel.string;print "yearStr=",yearStr;

我們再來看一個例子:

from BeautifulSoup import BeautifulSoup doc = ['<html><head><title>Page title</title></head>',    '<body><p id="firstpara" align="center">This is paragraph <b>one</b>.',    '<p id="secondpara" align="blah">This is paragraph <b>two</b>.',    '</html>']soup = BeautifulSoup(''.join(doc))print soup.prettify()# <html># <head>#  <title>#  Page title#  </title># </head># <body>#  <p id="firstpara" align="center">#  This is paragraph#  <b>#   one#  </b>#  .#  </p>#  <p id="secondpara" align="blah">#  This is paragraph#  <b>#   two#  </b>#  .#  </p># </body># </html>

這個例子中,<HEAD> Tag的parent是<HTML> Tag. <HTML> Tag 的parent是BeautifulSoup 剖析對象自己。 剖析對象的parent是None. 利用parent,你可以向前遍歷剖析樹。

soup.head.parent.name# u'html'soup.head.parent.parent.__class__.__name__# 'BeautifulSoup'soup.parent == None# True

2.當解析非UTF-8或ASCII編碼類型的HTML時,需要指定對應的字符編碼

當html為ASCII或UTF-8編碼時,可以不指定html字符編碼,便可正確解析html為對應的soup:

#這里respHtml是ASCII或UTF-8編碼,此時可以不指定編碼類型,即可正確解析出對應的soupsoup = BeautifulSoup(respHtml);

當html為其他類型編碼,比如GB2312的話,則需要指定相應的字符編碼,BeautifulSoup才能正確解析出對應的soup:

比如:

#此處respHtml是GB2312編碼的,所以要指定該編碼類型,BeautifulSoup才能解析出對應的souphtmlCharset = "GB2312";soup = BeautifulSoup(respHtml, fromEncoding=htmlCharset);
 

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
精品中文字幕乱| 国产97免费视| 精品国产欧美一区二区三区成人| 九色成人免费视频| 亚洲国产精品嫩草影院久久| 亚洲丝袜在线视频| 米奇精品一区二区三区在线观看| 97碰碰碰免费色视频| 欧美中文在线字幕| 成人免费淫片aa视频免费| 国产精品久久久久久婷婷天堂| 欧美成人精品一区| 国产这里只有精品| 国产性色av一区二区| 国产+人+亚洲| 日韩在线视频播放| 91情侣偷在线精品国产| 欧美一区二区三区免费视| 中文字幕日韩有码| 国产精品久久久久久久久免费看| 国产性色av一区二区| 久久伊人精品天天| 96精品久久久久中文字幕| 国产精品入口福利| 最新国产成人av网站网址麻豆| 亚洲xxx大片| 日韩中文字幕亚洲| 日韩欧美aⅴ综合网站发布| 欧美影院在线播放| 国产精品网红直播| 中文字幕久久久av一区| 亚洲一区二区三区乱码aⅴ蜜桃女| 日韩激情片免费| 日本高清不卡的在线| 国内精品400部情侣激情| 欧美一区二粉嫩精品国产一线天| 欧美性xxxx极品hd满灌| 不卡av电影在线观看| 欧美成人午夜激情在线| 国产精品国产三级国产专播精品人| 97国产精品视频| 精品久久久久久久久久久久久久| 久久国产精品久久久久久久久久| 日韩在线中文字| 92裸体在线视频网站| 欧美国产日韩xxxxx| 黄色精品一区二区| 欧美激情中文字幕在线| 日韩电影大全免费观看2023年上| 久久精品影视伊人网| 久久精品视频中文字幕| 中文字幕视频一区二区在线有码| 91免费在线视频网站| 欧美精品一区二区免费| 国产精品扒开腿做爽爽爽视频| 久久精品成人欧美大片| 热99精品只有里视频精品| 亚洲国产成人精品电影| 亚洲最新中文字幕| 欧美一区二区三区精品电影| 国产精品久久久久久久久久久久久| 91香蕉嫩草神马影院在线观看| 欧美福利在线观看| 亚洲国产免费av| 亚洲一区二区三区视频| 性色av一区二区三区| 久久精品中文字幕一区| 亚洲精品日韩欧美| 色噜噜久久综合伊人一本| 亚洲欧美日韩在线一区| 国产精品成人观看视频国产奇米| 91国产精品91| 亚洲欧美日韩综合| 欧美国产日韩二区| 欧美激情极品视频| 在线观看日韩www视频免费| 韩国v欧美v日本v亚洲| 亚洲国产精品久久精品怡红院| 国产成人精品免费久久久久| 亚洲视频在线观看免费| 黑人巨大精品欧美一区免费视频| 91精品国产91久久久| 欧美激情2020午夜免费观看| 久久久亚洲精品视频| 韩国三级日本三级少妇99| 精品国产鲁一鲁一区二区张丽| 国内精品视频久久| 久久在线视频在线| 欧美wwwwww| 国产精品久久久久久久久久三级| 国a精品视频大全| 国产精品91久久久久久| 91热精品视频| 人人澡人人澡人人看欧美| 亚洲在线第一页| 久久久91精品| 亚洲国产成人爱av在线播放| 亚洲精品视频网上网址在线观看| 91色在线视频| 久久av红桃一区二区小说| 久久香蕉国产线看观看av| 欧美亚洲国产日本| 欧美美女15p| 日韩欧美亚洲国产一区| xvideos成人免费中文版| 国产综合在线看| 美女视频黄免费的亚洲男人天堂| 亚洲欧美中文在线视频| 色综合影院在线| 在线精品国产成人综合| 亚洲精品福利视频| 欧美裸体xxxx极品少妇软件| 国产精品av在线播放| 亚洲在线一区二区| 成人av在线网址| 在线观看日韩av| 欧美一级电影久久| 亚洲专区在线视频| 亚洲国产精彩中文乱码av在线播放| 欧美不卡视频一区发布| 91视频8mav| 久久精品美女视频网站| 亚洲伊人久久大香线蕉av| 精品视频在线播放| 国产亚洲欧洲黄色| 69**夜色精品国产69乱| 17婷婷久久www| 国产午夜精品一区二区三区| 一本色道久久88综合亚洲精品ⅰ| 久久综合五月天| 亚洲xxxx妇黄裸体| 欧美自拍视频在线| 奇米成人av国产一区二区三区| 亚洲视频自拍偷拍| 亚洲电影在线看| 欧美精品在线看| 欧美激情a∨在线视频播放| 成人av资源在线播放| 日韩大胆人体377p| 国产成人avxxxxx在线看| 精品女厕一区二区三区| 国产人妖伪娘一区91| 91美女片黄在线观看游戏| 亚洲男人天堂九九视频| 亚洲电影免费观看| 精品日韩美女的视频高清| 成人在线观看视频网站| 亚洲а∨天堂久久精品9966| 57pao成人永久免费视频| 久久国产天堂福利天堂| 日韩网站在线观看| 青青a在线精品免费观看| 久99九色视频在线观看| 欧美成人午夜激情在线| 在线观看精品国产视频| 欧美成人激情图片网| 日韩av在线一区二区| 激情久久av一区av二区av三区| 浅井舞香一区二区| 久久精品国产2020观看福利| 国产精品扒开腿做爽爽爽视频| 欧美激情按摩在线| 国产精品视频久久久| 欧美日韩亚洲精品一区二区三区|