四六級成績查詢網站我所知道的有兩個：學信網（http://www.chsi.com.cn/cet/）和99宿舍（http://cet.99sushe.com/），這兩個網站采用的都是動態網頁。我使用的是學信網，好了，網站截圖如下：
網站的代碼如下：
<form method="get" name="form1" id="form1" action="/cet/query"><table border="0" align="center" cellpadding="0" cellspacing="0"><tr><td align="right">準考證號：</td><td align="left"><input name="zkzh" value="112008000463141" id="zkzh" type="text" size="18" maxlength="15" class="input_text input_t_l" /></td> <td align="left" class="font12 color666">請輸入15位準考證號</td></tr><tr><td align="right">姓名：</td><td align="left"><input name="xm" value="啊啊" id="xm" type="text" size="18" maxlength="50" class="input_text input_t_l" /></td> <td align="left" class="font12 color666">姓名超過3個字，可只輸入前3個</td></tr><tr><td align="center"> </td> <td colspan="2" align="left"><input type="submit" id="submitCET" class="btn_blue" value="查詢" /></td> </tr></table></form>
由圖中可以看出表單提交的鏈接為/cet/query，即：http://www.chsi.com.cn/cet/query，好了，填寫表單和結果如下：
但是，點擊查看源代碼之后發現，沒有成績，即代碼仍是上面那個，之后按F12查看代碼：
<TBODY><TR><TH>姓名：</TH><TD>XXXX</TD></TR><TR><TH>學校：</TH><TD>XXXXXX</TD></TR><TR><TH>考試類別：</TH><TD>英語四級</TD></TR><TR><TH>準考證號：</TH><TD>120135151100101</TD></TR><TR><TH>考試時間：</TH><TD>2015年06月</TD></TR>總分：</TH><TD class=fontBold vAlign="top"><SPAN class=colorRed>403 </SPAN><BR><SPAN class=color666>聽力：</SPAN> 132 <BR><SPAN class=color666>閱讀：</SPAN> 147 <BR><SPAN class=color666>寫作與翻譯：</SPAN> 124 </TD></TR>
該代碼顯示了成績，可以知道，該網站使用的是動態網頁，用的JavaScript或者Ajax.js還是其他的我就不知道了0.0。上面為需求。
前言：使用過BeautifulSoup爬取過，但是BeautifulSoup是爬取不了動態網頁的，上各種論壇找各種資料，用了n種東西，scapy,pyqt等等，走了真心不少彎路，不是不行，應該是我不會用，最終用了selenium和phantomjs，這兩個應該也是目前最流行的爬蟲模塊了吧。
一、導入selenium和phantomjs
from selenium import webdriverdriver = webdriver.PhantomJS(executable_path='D:/phantomjs-2.1.1-windows/phantomjs.exe')driver.get(url)driver.find_element_by_id('zkzh').send_keys(i)driver.find_element_by_id('xm').send_keys(xm)driver.find_elements_by_tag_name('form')[1].submit() 代碼說明：
3.selenium可以加載很多驅動，比如Chrome、FireFox等，這里需要有這兩個瀏覽器和驅動才行，折騰了一下，網上說Phantomjs是較好的了
5、6、7分別是準考證號，姓名和提交
二、字符處理
提交之后就可以直接查找了:
print driver.find_element_by_xpath("//tr[3]/td[1]").textprint driver.find_element_by_xpath("//tr[6]/td[1]").text 代碼說明：
1.查看姓名
2.查看分數及其具體成績
打印之后為：
姓名聽力閱讀寫作
之后要對分數進行字符串處理，選取各部分的數字，這里我們采用re模塊：
import rem = re.findall(r'(/w*[0-9]+)/w*', chuli2)
其中m是數組，輸出的是["403","132","147","142"]
三、數據庫
我們學校也不知說很渣還是人性化，反正公布了全校的四六級準考證號，當然，是excel的，需要導入mysql數據庫，打開Excel之后，我發現微軟大法和Oracle真是牛，Excel365居然有mysql workbench連接部分。
數據庫代碼如下：
import MySQLdbconn = MySQLdb.Connect(host='localhost', user='root', passwd='root', db='cet', port=3306, charset='utf8')cur = conn.cursor()curr = conn.cursor()cur.execute("select name from cet.cet where zkzh=(%s)" % i)xm = cur.fetchone()[0]print "Name is " + xmsqltxt = "update cet.cet set leibie=(%s),zongfen=(%s),tingli=(%s),yuedu=(%s),xiezuo=(%s) WHERE zkzh=(%s)" % ( ss, m[0], m[1], m[2], m[3], i)cur.execute(sqltxt)conn.commit()cur.close()conn.close() 代碼說明：
3.python連接數據庫代碼
6.連接數據庫取得姓名部分
9.這行我好無語啊，使用‘“+ss+”'這樣的寫法一直報錯，最終找了半天資料，這個寫法我不太喜歡，但是湊合著用吧。
12.記得一定要提交事務?。?！commit（）！??！不然是沒有效果的
四、使用代理服務器（保留以后寫）
運行了一段時間之后，大概抓了幾百人的吧，然后就出現要求驗證碼了，解決辦法只能處理驗證碼或者使用代理服務器了，這部分繼續加強學習再弄出來了↖(^ω^)↗
五、源代碼和效果
# encoding=utf8import MySQLdbimport reimport timefrom selenium import webdriver# connect mysql,get zkxh and xmconn = MySQLdb.Connect(host='localhost', user='root', passwd='root', db='cet', port=3306, charset='utf8')cur = conn.cursor()curr = conn.cursor()url = 'http://www.chsi.com.cn/cet/query'def kaishi(i): print i, print " start" try: cur.execute("select name from cet.cet where zkzh=(%s)" % i) xm = cur.fetchone()[0] print "Name is " + xm driver = webdriver.PhantomJS(executable_path='D:/phantomjs-2.1.1-windows/phantomjs.exe') driver.get(url) driver.find_element_by_id('zkzh').send_keys(i) driver.find_element_by_id('xm').send_keys(xm) driver.find_elements_by_tag_name('form')[1].submit() driver.set_page_load_timeout(10) leibie = driver.find_element_by_xpath("//tr[3]/td[1]").text leibie2 = str(leibie.encode("utf-8")) ss = "" if leibie2.decode("utf-8") == '英語四級'.decode("utf-8"): ss = 4 else: ss = 6 # zongfen = driver.find_element_by_xpath("//tr[6]/th[1]").text # print zongfen # print "====" chuli = driver.find_element_by_xpath("//tr[6]/td[1]").text print chuli chuli2 = str(chuli.encode("utf-8")) m = re.findall(r'(/w*[0-9]+)/w*', chuli2) sqltxt = "update cet.cet set leibie=(%s),zongfen=(%s),tingli=(%s),yuedu=(%s),xiezuo=(%s) WHERE zkzh=(%s)" % ( ss, m[0], m[1], m[2], m[3], i) cur.execute(sqltxt) conn.commit() print str(i) + " finish" except Exception, e: print e driver.close() time.sleep(10) kaishi(i)# for j1 in range(1201351511001, 1201351512154):for j1 in range(1201351511007, 1201351512154): for j2 in range(0, 3): for j3 in range(0, 10): j = str(j1) + str(j2) + str(j3) if str(j2) + str(j3) == "00": print "0.0" elif str(j2) + str(j3) == "29": kaishi(str(j1) + str(j2) + str(j3)) j4 = str(j1) + "30" kaishi(j4) else: kaishi(j)print "END!!!"cur.close()conn.close() 
總結：python的字符串處理細節真的很重要，動不動就輸出錯誤，還有IDE的編碼不一樣，記得還有個系統編碼，字符編碼，環境編碼，數據庫編碼等等都要一致。
以上就是本文的全部內容，希望對大家的學習有所幫助。
