亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > Python > 正文

Python中urllib2模塊的8個使用細節分享

2020-02-23 06:17:53
字體:
來源:轉載
供稿:網友

Python 標準庫中有很多實用的工具類,但是在具體使用時,標準庫文檔上對使用細節描述的并不清楚,比如 urllib2 這個 HTTP 客戶端庫。這里總結了一些 urllib2 庫的使用細節。

1 Proxy 的設置

urllib2 默認會使用環境變量 http_proxy 來設置 HTTP Proxy。如果想在程序中明確控制 Proxy,而不受環境變量的影響,可以使用下面的方式
代碼如下:
import urllib2
 
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
 
if enable_proxy:
    opener = urllib2.build_opener(proxy_handler)
else:
    opener = urllib2.build_opener(null_proxy_handler)
 
urllib2.install_opener(opener)

這里要注意的一個細節,使用 urllib2.install_opener() 會設置 urllib2 的全局 opener。這樣后面的使用會很方便,但不能做更細粒度的控制,比如想在程序中使用兩個不同的 Proxy 設置等。比較好的做法是不使用 install_opener 去更改全局的設置,而只是直接調用 opener 的 open 方法代替全局的 urlopen 方法。

2 Timeout 設置

在老版本中,urllib2 的 API 并沒有暴露 Timeout 的設置,要設置 Timeout 值,只能更改 Socket 的全局 Timeout 值。
代碼如下:
import urllib2
import socket
 
socket.setdefaulttimeout(10) # 10 秒鐘后超時
urllib2.socket.setdefaulttimeout(10) # 另一種方式

在新的 Python 2.6 版本中,超時可以通過 urllib2.urlopen() 的 timeout 參數直接設置。
代碼如下:
import urllib2
response = urllib2.urlopen('http://www.google.com', timeout=10)

3 在 HTTP Request 中加入特定的 Header
要加入 Header,需要使用 Request 對象:
代碼如下:
import urllib2
 
request = urllib2.Request(uri)
request.add_header('User-Agent', 'fake-client')
response = urllib2.urlopen(request)

對有些 header 要特別留意,Server 端會針對這些 header 做檢查

1.User-Agent 有些 Server 或 Proxy 會檢查該值,用來判斷是否是瀏覽器發起的 Request
2.Content-Type 在使用 REST 接口時,Server 會檢查該值,用來確定 HTTP Body 中的內容該怎樣解析。

常見的取值有:

1.application/xml :在 XML RPC,如 RESTful/SOAP 調用時使用
2.application/json :在 JSON RPC 調用時使用
3.application/x-www-form-urlencoded :瀏覽器提交 Web 表單時使用
……

在使用 RPC 調用 Server 提供的 RESTful 或 SOAP 服務時, Content-Type 設置錯誤會導致 Server 拒絕服務。

4 Redirect

urllib2 默認情況下會針對 3xx HTTP 返回碼自動進行 Redirect 動作,無需人工配置。要檢測是否發生了 Redirect 動作,只要檢查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
亚洲色图综合久久| 美女啪啪无遮挡免费久久网站| 欧美性videos高清精品| 欧美性极品xxxx娇小| 亚洲女人被黑人巨大进入| 538国产精品视频一区二区| 青草青草久热精品视频在线观看| 成人午夜高潮视频| 久久综合久中文字幕青草| 中文字幕久热精品视频在线| 亚洲区免费影片| 中文字幕欧美国内| 国产精品入口免费视频一| 亚洲欧洲黄色网| 色一情一乱一区二区| 欧美激情网友自拍| 懂色aⅴ精品一区二区三区蜜月| 91sao在线观看国产| 日本久久久久久久久| 青青a在线精品免费观看| 91久久久久久国产精品| 亚洲精品美女久久久久| 国产精品免费观看在线| 亚洲精品成a人在线观看| 成人久久18免费网站图片| 亚洲二区中文字幕| 久久久久久伊人| 亚洲精品第一页| 成人国产在线激情| 亚洲乱码国产乱码精品精| 精品亚洲一区二区三区| 日韩大陆毛片av| 日韩三级成人av网| 亚洲精品456在线播放狼人| 国产精品视频区1| 在线性视频日韩欧美| 欧美精品做受xxx性少妇| 亚洲人成网站色ww在线| 国产精品视频专区| 国产伦精品免费视频| 久久99精品久久久久久琪琪| 国产精品视频男人的天堂| 亚洲精品久久久久久下一站| 91欧美激情另类亚洲| 成人综合网网址| 亚洲精品午夜精品| 亚洲视频在线观看网站| 中文字幕一区二区精品| 色樱桃影院亚洲精品影院| 久久久精品欧美| 亚洲日本aⅴ片在线观看香蕉| 一本色道久久综合狠狠躁篇的优点| 亚洲美女性视频| 国产精品精品久久久| 国产91免费看片| 色综合久久88色综合天天看泰| 一区二区三区无码高清视频| 国产日韩欧美夫妻视频在线观看| 日韩av在线电影网| 国产亚洲欧美一区| 国产一区红桃视频| 欧洲美女免费图片一区| 日本久久久a级免费| 欧美一级视频一区二区| 久久av在线看| 国产在线日韩在线| 国产精品国产自产拍高清av水多| 韩国三级日本三级少妇99| 人妖精品videosex性欧美| 亚洲欧美国产精品| 国产精品成人久久久久| 91中文在线视频| 亚洲一区二区三区xxx视频| 2021久久精品国产99国产精品| 91欧美精品午夜性色福利在线| 国产不卡av在线| 亚洲free性xxxx护士hd| 日本韩国欧美精品大片卡二| 欧美最猛性xxxxx(亚洲精品)| 国产精品一区二区av影院萌芽| 精品久久久999| 欧美电影免费观看网站| 最近2019中文字幕第三页视频| 成人免费在线网址| 亚洲国产成人久久综合| 亚洲视频777| 草民午夜欧美限制a级福利片| 亚洲国产天堂久久综合网| 色中色综合影院手机版在线观看| 亚洲成av人影院在线观看| 九九热最新视频//这里只有精品| 国产精品日韩欧美| 亚洲精品国产精品国产自| 亚洲精选在线观看| 国产精品18久久久久久首页狼| 日韩美女福利视频| 欧美午夜片在线免费观看| 日韩一区二区欧美| 精品福利免费观看| 九九久久综合网站| 欧美激情2020午夜免费观看| 日韩成人激情视频| 欧美电影院免费观看| 日韩精品中文字幕有码专区| 揄拍成人国产精品视频| 热久久99这里有精品| 国产成人一区二区三区| 奇米4444一区二区三区| 九九热精品视频国产| 欧美中文在线字幕| 亚洲精品按摩视频| 久久夜色精品国产| 综合网中文字幕| 久久人人爽亚洲精品天堂| 久久精品国产视频| zzijzzij亚洲日本成熟少妇| 午夜精品美女自拍福到在线| 国产成人免费91av在线| 欧美诱惑福利视频| 精品中文字幕在线2019| 亚洲欧洲第一视频| 久久av中文字幕| 欧美日韩亚洲一区二| 国产成人综合亚洲| 欧美日韩中文字幕日韩欧美| 国产欧美 在线欧美| 欧美成人午夜剧场免费观看| 91精品国产91| 4444欧美成人kkkk| 美女视频黄免费的亚洲男人天堂| 日韩av123| 秋霞av国产精品一区| 91免费的视频在线播放| 日韩av高清不卡| 亚洲色图美腿丝袜| 最新91在线视频| 亚洲一区中文字幕| 国产欧美亚洲视频| 亚洲影院高清在线| 69视频在线免费观看| 欧美日韩亚洲视频| 亚洲第一区中文字幕| 久久综合免费视频| 91社区国产高清| 91视频8mav| 久久精品小视频| 日韩中文字幕国产精品| 91美女高潮出水| 亚洲视频在线免费观看| 国产日韩精品综合网站| 91九色国产社区在线观看| 久久久视频在线| 美女福利视频一区| 136fldh精品导航福利| 美日韩精品视频免费看| 亚洲国产欧美一区二区三区久久| www高清在线视频日韩欧美| 欧美限制级电影在线观看| 91成人国产在线观看| 国产成人拍精品视频午夜网站| 欧美激情欧美狂野欧美精品| 精品高清美女精品国产区| 精品久久久精品| 久久久久久免费精品|