亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > Python > 正文

Python簡單爬蟲導出CSV文件的實例講解

2020-02-15 22:12:40
字體:
來源:轉載
供稿:網友

流程:模擬登錄→獲取Html頁面→正則解析所有符合條件的行→逐一將符合條件的行的所有列存入到CSVData[]臨時變量中→寫入到CSV文件中

核心代碼:

 ####寫入Csv文件中      with open(self.CsvFileName, 'wb') as csvfile:        spamwriter = csv.writer(csvfile, dialect='excel')        #設置標題        spamwriter.writerow(["游戲賬號","用戶類型","游戲名稱","渠道","充值類型","充值金額","返利金額","單號","日期"])        #將CsvData中的數據循環寫入到CsvFileName文件中        for item in self.CsvData:          spamwriter.writerow(item)

完整代碼:

# coding=utf-8import urllibimport urllib2import cookielibimport reimport csvimport sys class Pyw():  #初始化數據  def __init__(self):    #登錄的Url地址    self.LoginUrl="http://v.pyw.cn/login/check"    #所要獲取的Url地址    self.PageUrl="http://v.pyw.cn/Data/accountdetail/%s"    # 傳輸的數據:用戶名、密碼、是否記住用戶名    self.PostData = urllib.urlencode({      "username": "15880xxxxxx",      "password": "a123456",      "remember": "1"    })    #第幾筆記錄    self.PageIndex=0;    #循環獲取共4頁內容    self.PageTotal=1    #正則解析出tr    self.TrExp=re.compile("(?isu)<tr[^>]*>(.*?)</tr>")    #正則解析出td    self.TdExp = re.compile("(?isu)<td[^>]*>(.*?)</td>")    #創建cookie    self.cookie = cookielib.CookieJar()    #構建opener    self.opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(self.cookie))    #解析頁面總頁數    self.Total=4    #####設置csv文件    self.CsvFileName="Pyw.csv"    #####存儲Csv數據    self.CsvData=[]    #解析網頁中的內容  def GetPageItem(self,PageHtml):    #循環取出Table中的所有行    for row in self.TrExp.findall(PageHtml):      #取出當前行的所有列      coloumn=self.TdExp.findall(row)      #判斷符合的記錄      if len(coloumn) == 9:        # print "游戲賬號:%s" % coloumn[0].strip()        # print "用戶類型:%s" % coloumn[1].strip()        # print "游戲名稱:%s" % coloumn[2].strip()        # print "渠道:%s" % coloumn[3].strip()        # print "充值類型:%s" % coloumn[4].strip()        # print "充值金額:%s" % coloumn[5].strip().replace("¥", "")        # print "返利金額:%s" % coloumn[6].strip().replace("¥", "")        # print "單號:%s" % coloumn[7].strip()        # print "日期:%s" % coloumn[8].strip()        #拼湊行數據        d=[coloumn[0].strip(),          coloumn[1].strip(),          coloumn[2].strip(),          coloumn[3].strip(),          coloumn[4].strip(),          coloumn[5].strip().replace("¥", ""),          coloumn[6].strip().replace("¥", ""),          coloumn[7].strip(),          coloumn[8].strip()]        self.CsvData.append(d)   #模擬登錄并獲取頁面數據  def GetPageHtml(self):    try:      #模擬登錄      request=urllib2.Request(url=self.LoginUrl,data=self.PostData)      ResultHtml=self.opener.open(request)      #開始執行獲取頁面數據      while self.PageTotal<=self.Total:        #動態拼湊所要解析的Url        m_PageUrl = self.PageUrl % self.PageTotal        #計算當期第幾頁        self.PageTotal = self.PageTotal + 1        #獲取當前解析頁面的所有內容        ResultHtml=self.opener.open(m_PageUrl)        #解析網頁中的內容        self.GetPageItem(ResultHtml.read())       ####寫入Csv文件中      with open(self.CsvFileName, 'wb') as csvfile:        spamwriter = csv.writer(csvfile, dialect='excel')        #設置標題        spamwriter.writerow(["游戲賬號","用戶類型","游戲名稱","渠道","充值類型","充值金額","返利金額","單號","日期"])        #將CsvData中的數據循環寫入到CsvFileName文件中        for item in self.CsvData:          spamwriter.writerow(item)       print "成功導出CSV文件!"    except Exception,e:      print "404 error!%s" % e#實例化類p=Pyw()#執行方法p.GetPageHtml()            
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
国产在线拍偷自揄拍精品| 国内精品久久久| 日韩高清欧美高清| 美日韩精品视频免费看| 国产精品视频免费观看www| 伊人久久久久久久久久| 亚洲无亚洲人成网站77777| 欧美裸体xxxx| 国产色视频一区| 久久国产精品免费视频| 国产日韩欧美电影在线观看| 69**夜色精品国产69乱| 久久精品亚洲精品| 精品久久久91| 中文字幕日韩免费视频| 中文日韩在线观看| 国产免费亚洲高清| 一本一本久久a久久精品综合小说| 欧美区在线播放| 国产乱人伦真实精品视频| 日韩成人黄色av| 国产精品久久电影观看| 日韩高清a**址| 欧美极品欧美精品欧美视频| 亚洲成人久久久| 91伊人影院在线播放| 亚洲精品在线视频| 日韩中文在线中文网三级| 中文字幕一区电影| 亚洲韩国青草视频| 色综合久久精品亚洲国产| 欧美视频免费在线| 国产精品18久久久久久首页狼| 成人网在线免费看| 最近中文字幕mv在线一区二区三区四区| 深夜精品寂寞黄网站在线观看| 97视频免费在线看| 国产日韩欧美成人| 国产精品久久久久久久9999| 国产精品久久久久久久一区探花| 日本精品免费一区二区三区| 国产精品海角社区在线观看| 久久九九精品99国产精品| 亚洲人成绝费网站色www| 欧美猛少妇色xxxxx| 亚洲欧美一区二区三区情侣bbw| 成人免费看吃奶视频网站| 91老司机精品视频| 国产91九色视频| 日韩精品在线播放| 中文字幕日韩欧美| 国产精品久久久久久久久免费看| 911国产网站尤物在线观看| 中文字幕视频一区二区在线有码| 九色精品免费永久在线| 国产精品久久久久久久久粉嫩av| 大伊人狠狠躁夜夜躁av一区| 国产欧美日韩中文字幕在线| 日韩av不卡电影| 米奇精品一区二区三区在线观看| 国产精品高潮粉嫩av| 成人国内精品久久久久一区| 国产精品国产亚洲伊人久久| 欧洲成人在线视频| 91在线播放国产| 国产在线视频不卡| 久久精品国产久精国产一老狼| 91精品在线观| 精品久久久久久中文字幕| 亚洲欧美日韩第一区| 日韩电影在线观看免费| 亚洲精品v欧美精品v日韩精品| 欧美理论在线观看| 久久人人爽人人爽人人片亚洲| 亚洲全黄一级网站| 亚洲精品福利视频| 91精品国产综合久久久久久蜜臀| 国产精品网站视频| 久久久久久91| 亚洲日本欧美日韩高观看| 国产福利成人在线| 国产精品www色诱视频| 国产精品亚洲综合天堂夜夜| 亚洲第一精品电影| 日韩在线一区二区三区免费视频| 欧美高清激情视频| 国产成人综合一区二区三区| 欧美国产日韩一区二区在线观看| 亚洲欧美另类自拍| 色偷偷9999www| 亚洲一区二区少妇| 精品亚洲一区二区三区在线观看| 亚洲伦理中文字幕| 久久人人爽国产| 18一19gay欧美视频网站| 国产亚洲精品综合一区91| 中文字幕久精品免费视频| 精品性高朝久久久久久久| 亚洲国产精品女人久久久| 中文字幕精品—区二区| 成人午夜小视频| 欧美—级高清免费播放| 久久综合久久美利坚合众国| 日韩黄色av网站| 国产精品羞羞答答| 久久人人爽人人爽人人片av高请| 久久久久久九九九| 欧美国产日韩免费| 亚洲成人精品视频| 亚洲专区在线视频| 国产精品久久久久91| 日韩福利在线播放| 亚洲精品成人免费| 欧美老女人性视频| 久久国产精品影片| 精品国产91久久久| 毛片精品免费在线观看| 国自在线精品视频| 午夜精品久久久久久久99黑人| 久久男人av资源网站| 亚洲欧美日韩第一区| 国产欧美精品一区二区三区-老狼| 色琪琪综合男人的天堂aⅴ视频| 色哟哟网站入口亚洲精品| 国产成人激情小视频| 国产精品扒开腿做| 成人国产精品久久久久久亚洲| 精品亚洲va在线va天堂资源站| 一本色道久久综合亚洲精品小说| 久久久久久久久久久免费精品| 日本精品一区二区三区在线播放视频| 亚洲国内高清视频| 69av成年福利视频| 亚洲黄色有码视频| 国产精品流白浆视频| 国产视频观看一区| 91在线|亚洲| 国产精品国产自产拍高清av水多| 一区二区av在线| 国产精品久久久久久久久免费| 欧美性猛交xxxx| 国产精品国产三级国产aⅴ9色| 2019中文字幕在线免费观看| 国产精品无码专区在线观看| 中文字幕一精品亚洲无线一区| 欧美精品成人在线| 日韩视频免费在线观看| 成人深夜直播免费观看| 欧美激情视频网站| 成人免费网站在线| 日韩欧美成人精品| 亚洲免费伊人电影在线观看av| 久久精品青青大伊人av| 美女啪啪无遮挡免费久久网站| 久久精品国产欧美亚洲人人爽| 亚洲欧美制服综合另类| 一本一道久久a久久精品逆3p| 亚洲另类欧美自拍| 亚洲自拍偷拍网址| 日韩精品极品在线观看播放免费视频| 国语自产精品视频在线看抢先版图片| 国产欧美日韩中文| 欧美色videos| 亚洲精品美女视频|