本文實例講述了Python簡單實現網頁內容抓取功能。分享給大家供大家參考,具體如下:
使用模塊:
import urllib2 import urllib
普通抓取實例:
#!/usr/bin/python# -*- coding: UTF-8 -*-import urllib2url = 'http://www.baidu.com'#創建request對象request = urllib2.Request(url)#發送請求,獲取結果try: response = urllib2.urlopen(request)except BaseException, err: print err exit()#獲取狀態碼,如果是200表示獲取成功code = response.getcode()print code#讀取內容if 200 == code: content = response.read() print content
Get請求抓取實例:
#!/usr/bin/python# -*- coding: UTF-8 -*-import urllib2import urllib#urllib2使用GET方式的請求url = 'http://www.baidu.com/s'values = {'wd' : '車云'}# 必須編碼data = urllib.urlencode(values) url = url + '?' + data print url#url == http://www.baidu.com/s?wd=%E8%BD%A6%E4%BA%91#創建request對象request = urllib2.Request(url)#發送請求,獲取結果try: response = urllib2.urlopen(request)except BaseException, err: print err exit()#獲取狀態碼,如果是200表示獲取成功code = response.getcode()print code#讀取內容if 200 == code: content = response.read() print content
更多關于Python相關內容可查看本站專題:《Python Socket編程技巧總結》、《Python正則表達式用法總結》、《Python數據結構與算法教程》、《Python函數使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設計有所幫助。
新聞熱點
疑難解答