Python 登錄網站詳解及實例
對于大部分論壇,我們想要抓取其中的帖子分析,首先需要登錄,否則無法查看。
這是因為 HTTP 協議是一個無狀態(Stateless)的協議,服務器如何知道當前請求連接的用戶是否已經登錄了呢?有兩種方式:
Python 提供了相當豐富的模塊,所以對于這種網絡操作只要幾句話就可以完成。我以登錄 QZZN 論壇為例,事實上下面的程序幾乎所有的 PHPWind 類型的論壇都是適用的。
# -*- coding: GB2312 -*-from urllib import urlencodeimport cookielib, urllib2# cookiecj = cookielib.LWPCookieJar()opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))urllib2.install_opener(opener)# Loginuser_data = {'pwuser': '你的用戶名', 'pwpwd': '你的密碼', 'step':'2' }url_data = urlencode(user_data)login_r = opener.open("http://bbs.qzzn.com/login.php", url_data)
一些注釋:
urllib2 顯然是比 urllib 高級一點的模塊,里面包括了如何使用 Cookies。 在 urllib2 中,每個客戶端可以用一個 opener 來抽象,每個 opener 又可以增加多個 handler 來增強其功能。 在構造 opener 時指定了 HTTPCookieProcessor 做為 handler,因此這個 handler 支持 Cookie。 使用 isntall_opener 后,調用 urlopen 時會使用這個 opener。 如果不需要保存 Cookie,cj 這個參數可以省略。 user_data 存放的就是登錄所需要的信息,在登錄論壇的時候把這個信息傳遞過去就行了。 urlencode 功能是把字典 user_data 編碼成"?pwuser=username&pwpwd=password"的形式,這樣做是為了使程序易讀一些。最后一個問題是,pwuser、pwpwd 這類的名字是從哪兒來的,這就要分析需要登錄的網頁了。我們知道,一般的登錄界面都是一個表單,節選如下:
<form action="login.php?" method="post" name="login" onSubmit="this.submit.disabled = true;"> <input type="hidden" value="" name="forward" /> <input type="hidden" value="http://bbs.qzzn.com/index.php" name="jumpurl" /> <input type="hidden" value="2" name="step" /> ... <td width="20%" onclick="document.login.pwuser.focus();"><input type="radio" name="lgt" value="0" checked />用戶名 <input type="radio" name="lgt" value="1" />UID</td> <td><input class="input" type="text" maxLength="20" name="pwuser" size="40" tabindex="1" /> <a href="reg1ster.php" rel="external nofollow" >馬上注冊</a></td> <td>密 碼</td> <td><input class="input" type="password" maxLength="20" name="pwpwd" size="40" tabindex="2" /> <a href="sendpwd.php" rel="external nofollow" target="_blank">找回密碼</a></td> ... </form>
新聞熱點
疑難解答