亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > Python > 正文

零基礎寫python爬蟲之urllib2使用指南

2020-02-23 06:07:31
字體:
來源:轉載
供稿:網友

前面說到了urllib2的簡單入門,下面整理了一部分urllib2的使用細節。

1.Proxy 的設置

urllib2 默認會使用環境變量 http_proxy 來設置 HTTP Proxy。
如果想在程序中明確控制 Proxy 而不受環境變量的影響,可以使用代理。
新建test14來實現一個簡單的代理Demo:

代碼如下:
import urllib2 
enable_proxy = True 
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'}) 
null_proxy_handler = urllib2.ProxyHandler({}) 
if enable_proxy: 
    opener = urllib2.build_opener(proxy_handler) 
else: 
    opener = urllib2.build_opener(null_proxy_handler) 
urllib2.install_opener(opener) 

這里要注意的一個細節,使用 urllib2.install_opener() 會設置 urllib2 的全局 opener 。
這樣后面的使用會很方便,但不能做更細致的控制,比如想在程序中使用兩個不同的 Proxy 設置等。
比較好的做法是不使用 install_opener 去更改全局的設置,而只是直接調用 opener 的 open 方法代替全局的 urlopen 方法。

2.Timeout 設置

在老版 Python 中(Python2.6前),urllib2 的 API 并沒有暴露 Timeout 的設置,要設置 Timeout 值,只能更改 Socket 的全局 Timeout 值。

代碼如下:
import urllib2 
import socket 
socket.setdefaulttimeout(10) # 10 秒鐘后超時 
urllib2.socket.setdefaulttimeout(10) # 另一種方式 

在 Python 2.6 以后,超時可以通過 urllib2.urlopen() 的 timeout 參數直接設置。

代碼如下:
import urllib2 
response = urllib2.urlopen('http://www.google.com', timeout=10) 

3.在 HTTP Request 中加入特定的 Header

要加入 header,需要使用 Request 對象:

代碼如下:
import urllib2 
request = urllib2.Request('http://www.baidu.com/') 
request.add_header('User-Agent', 'fake-client') 
response = urllib2.urlopen(request) 
print response.read() 

對有些 header 要特別留意,服務器會針對這些 header 做檢查
User-Agent : 有些服務器或 Proxy 會通過該值來判斷是否是瀏覽器發出的請求
Content-Type : 在使用 REST 接口時,服務器會檢查該值,用來確定 HTTP Body 中的內容該怎樣解析。常見的取值有:
application/xml : 在 XML RPC,如 RESTful/SOAP 調用時使用
application/json : 在 JSON RPC 調用時使用
application/x-www-form-urlencoded : 瀏覽器提交 Web 表單時使用
在使用服務器提供的 RESTful 或 SOAP 服務時, Content-Type 設置錯誤會導致服務器拒絕服務

4.Redirect

urllib2 默認情況下會針對 HTTP 3XX 返回碼自動進行 redirect 動作,無需人工配置。要檢測是否發生了 redirect 動作,只要檢查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
奇米影视亚洲狠狠色| 国产在线观看精品| 日本久久中文字幕| 亚洲人成77777在线观看网| 久久久久久69| 色偷偷噜噜噜亚洲男人的天堂| 日本精品中文字幕| 国产综合在线视频| 国产成人自拍视频在线观看| 国产不卡精品视男人的天堂| 日韩精品视频免费在线观看| 在线亚洲午夜片av大片| 亚洲va欧美va国产综合久久| 亚洲欧美日韩中文在线| 国色天香2019中文字幕在线观看| 欧美大尺度激情区在线播放| 欧美自拍视频在线| 狠狠做深爱婷婷久久综合一区| 日本精品久久久久久久| 欧美成人免费一级人片100| 日韩精品视频三区| 国产日韩av在线播放| 91久久久久久久一区二区| 国产91在线播放九色快色| 国产日韩在线视频| 色噜噜狠狠色综合网图区| 91久久夜色精品国产网站| 亚洲图片在区色| 亚洲人成在线观看| 精品国产区一区二区三区在线观看| 欧洲成人免费视频| 成人免费看片视频| 亚洲高清久久久久久| 97国产一区二区精品久久呦| 欧美在线观看网址综合| 久久久久久久久久久91| 精品久久久久久久久久国产| 久久影院模特热| 国产免费一区视频观看免费| 成人网在线免费看| 91在线无精精品一区二区| 日本精品一区二区三区在线| 色综合导航网站| 国产精品久久久亚洲| 亚洲欧美一区二区三区久久| 国产精品欧美一区二区| 美日韩精品免费视频| 成人xxxx视频| 色狠狠久久aa北条麻妃| 日韩av免费看网站| 国产一区二区三区在线看| 久久久999精品| 国产亚洲精品久久| 97在线视频免费观看| 日韩成人av网址| 欧美精品一区二区三区国产精品| 亚洲午夜小视频| 国产精品99久久久久久白浆小说| 2019中文字幕全在线观看| 欧美激情亚洲另类| 国产亚洲视频在线| 亚洲精品久久久久久久久久久久久| 国产色婷婷国产综合在线理论片a| 欧美中文字幕在线| 日韩免费av片在线观看| 97国产精品久久| 久久精品电影网| 亚洲大胆人体av| 69久久夜色精品国产69乱青草| 日韩久久免费电影| 国内精品视频一区| 亚洲精品一区久久久久久| 午夜精品国产精品大乳美女| 欧美一区二区三区图| 亚洲精品国产精品乱码不99按摩| 成人免费激情视频| 国产一区二区三区在线视频| 91在线免费网站| 国产精品一区二区三区毛片淫片| 国产精品欧美一区二区| yellow中文字幕久久| 久久久噜噜噜久噜久久| 欧美精品videos另类日本| 成人黄色免费片| 在线观看国产欧美| 91av在线播放| 91老司机精品视频| 日韩av一区二区在线观看| 欧美专区国产专区| 在线观看亚洲区| 7m第一福利500精品视频| 国产成人免费av| 日韩一级裸体免费视频| 久久中文字幕视频| 日韩在线视频一区| 国产一区二区黑人欧美xxxx| 欧美日韩在线视频首页| 国产精品高潮在线| 欧美性生交xxxxxdddd| 一区二区在线免费视频| 欧美三级欧美成人高清www| 亚洲第一网站免费视频| 久久久国产精品免费| 91免费欧美精品| 成人av资源在线播放| 8x拔播拔播x8国产精品| 日韩欧美在线第一页| 97**国产露脸精品国产| 亚洲欧美日韩爽爽影院| 亚洲欧美一区二区三区情侣bbw| 久久91精品国产91久久跳| 欧美久久精品一级黑人c片| 欧美日韩国产一区二区三区| 亚洲国产精品久久久| 欧美一区二区三区……| 日本精品免费一区二区三区| 91精品久久久久久久久久久久久| 欧美性xxxxxxx| 国产精品视频xxxx| 国产日本欧美一区二区三区| 亚洲v日韩v综合v精品v| 精品视频在线导航| 欧美日韩裸体免费视频| 日韩激情在线视频| 91精品国产高清久久久久久久久| 亚洲一区精品电影| 欧美国产日韩一区| 久久久久久国产精品三级玉女聊斋| 日韩欧美成人区| 精品国产91乱高清在线观看| 国产精品日韩一区| 国产啪精品视频| 欧美激情奇米色| 欧美日韩国产精品一区二区不卡中文| 欧美日韩在线观看视频| 欧美重口另类videos人妖| 91精品国产高清自在线| 国产亚洲成av人片在线观看桃| 国内精品美女av在线播放| 国产精品三级久久久久久电影| 亚洲娇小xxxx欧美娇小| 日韩在线免费视频| 亚洲成**性毛茸茸| 久久精品亚洲94久久精品| 日韩免费观看在线观看| 国产999精品久久久影片官网| 日韩激情av在线免费观看| 亚洲成av人影院在线观看| 欧美成人自拍视频| 国产裸体写真av一区二区| 成人欧美一区二区三区黑人| 97视频在线看| 激情懂色av一区av二区av| 在线电影欧美日韩一区二区私密| 美女国内精品自产拍在线播放| 日韩电影在线观看永久视频免费网站| 日韩在线视频网站| 国产精品一区=区| 在线观看视频亚洲| 精品久久久国产| 欧美日韩aaaa| 日韩电影在线观看中文字幕| 中文字幕v亚洲ⅴv天堂| 日韩成人在线视频网站|