亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > Python > 正文

使用Python3獲取360影視首頁上電影的名稱,年份,評價,播放鏈接并保存為txt文本

2019-11-06 07:33:00
字體:
來源:轉載
供稿:網友

首先,我們需要下載python3.0以上的版本以及requests和BeautifulSoup這兩個第三方包

第三方包下載連接:

requests-2.5.0.tar.gz 鏈接:http://download.csdn.net/download/ls1160/8242547

beautifulsoup4-4.5.3.tar.gz 鏈接 :鏈接:http://download.csdn.net/download/QQ_37400312/9770777

第三方包安裝方法:

將requests-2.13.0.tar.gz壓縮包解壓后,打開cmd,跳轉至文件路徑,輸入python setup.py install按回車進行安裝

(beautifulsoup4-4.5.3.tar.gz方法相同)

然后,我們轉入正題:

1.獲取網頁源代碼

import requestshtml = requests.get('http://www.360kan.com/dianying/index.html')PRint(html.text)

我們可以編譯一下,若獲取成功則會輸出http://www.360kan.com/dianying/index.html網頁上的代碼

2.使用BeautifulSoup解析網頁

from bs4 import BeautifulSoupsoup = BeautifulSoup(html.text,'html.parser')

3.獲取全部電影名稱

for news in soup.select('.w-newfigure'):    if len(news.select('.s1')) > 0        title = news.select('.s1')[0].text        print (title)4.獲取一個年份

year = soup.select('.w-newfigure span')[0].textprint (year)

5.獲取一個電影名稱

name = soup.select('.w-newfigure span')[1].textprint (name)

6.獲取一個評分

name = soup.select('.w-newfigure span')[2].textprint (name)7.獲取全部評分

for news in soup.select('.w-newfigure'):    if len(news.select('.s2')) > 0:#無評分的直接跳過        comment = news.select('span')[2].text        print (comment)8.獲取全部電影年份、名稱和評分
for news in soup.select('.w-newfigure'):    if len(news.select('.s2')) > 0:#        year = news.select('span')[0].text#無年份的直接去掉        name = news.select('span')[1].text#無名稱的直接去掉        comment = news.select('span')[2].text#無評分的直接去掉        print (year,name,comment)

9.獲取全部影片介紹頁面

for news in soup.select('.w-newfigure'):    if awoidUrl(news.select('a ')[0]['href']):        url1 = news.select('a ')[0]['href']        print(url1)

10.構造獲取立即播放鏈接函數
def getUrl(url):    html2 = requests.get('%s'%url)    soup2 = BeautifulSoup(html2.text,"html.parser")    if len(soup2.select(".top-list-btns a")[0]['href'])>0:        url2 = soup2.select(".top-list-btns a")[0]['href']        return url2因為360影視首頁的電影只給了影片介紹頁面的鏈接,影片的播放鏈接在介紹頁面內,所以我們要構造一個函數,再獲取一次鏈接

11.構造避免http://v.360kan.com/網址和空網址函數

import redef awoidUrl(url):    if len(url) > 0:        m = re.search('http://(.*).com',url)        newurl = m.group(1)#1獲取括號內的內容        #print (newurl)        if newurl == "www.360kan":            return 1        else:            return 0    else:        return 0因為有些網址獲取不到或網址為會員才能觀看,所以我們直接跳過12.獲取全部影片序號,電影名稱,上映年份,評分,立即播放網址
i=0for news in soup.select('.w-newfigure'):    if awoidUrl(news.select('a ')[0]['href']):        url1 = news.select('a ')[0]['href']        try:            url2 = getUrl(url1)            year = news.select('span')[0].text#無年份的直接去掉            name = news.select('span')[1].text#無名稱的直接去掉            comment = news.select('span')[2].text#無評分的直接去掉            i=i+1            print ("序號:%s/t電影名稱:%s/t/t/t上映年份:%s/t評分:%s/n網址:%s"%(i,name,year,comment,url2))        except:            continue13.程序完整代碼,抓取360影視首頁資料并保存至同一目錄下的“保存內容.txt”中

#-*- coding: utf-8 -*-import requestshtml = requests.get('http://www.360kan.com/dianying/index.html')from bs4 import BeautifulSoupsoup = BeautifulSoup(html.text,'html.parser')def getUrl(url):    html2 = requests.get('%s'%url)    soup2 = BeautifulSoup(html2.text,"html.parser")    if len(soup2.select(".top-list-btns a")[0]['href'])>0:        url2 = soup2.select(".top-list-btns a")[0]['href']        return url2import redef awoidUrl(url):    if len(url) > 0:        m = re.search('http://(.*).com',url)        newurl = m.group(1)#1獲取括號內的內容        #print (newurl)        if newurl == "www.360kan":            return 1        else:            return 0    else:        return 0import urllib.requestimport urllib.parsef = open("保存內容.txt",'wb')i=0for news in soup.select('.w-newfigure'):    if awoidUrl(news.select('a ')[0]['href']):        url1 = news.select('a ')[0]['href']        try:            url2 = getUrl(url1)            year = news.select('span')[0].text#無年份的直接去掉            name = news.select('span')[1].text#無名稱的直接去掉            comment = news.select('span')[2].text#無評分的直接去掉            str = ("序號:%s/t電影名稱:%s/t/t/t上映年份:%s/t評分:%s/n網址:%s/n/n"%(i,name,year,comment,url2))            fo = open("保存內容.txt", "r+")            fo.seek(0, 2)            fo.write( str )                        i=i+1            print ("%s保存完畢"%i)        except:            continuefo.close()print("over")14.至此,我們可以通過上述代碼成功抓取360影視首頁上的電影資料,但由于有些影視的鏈接等信息有些特殊,所以本人選擇了直接忽略,例如沒有評分的電影就選擇不進行抓取等,所以抓取結果不全,僅供學習參考,如文章有錯誤或有什么好的意見,歡迎提出,謝謝。


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
91在线中文字幕| 亚洲人成绝费网站色www| 97视频在线观看成人| 日韩美女视频免费看| 久久久久久久久中文字幕| 国产精品久久久久久亚洲调教| 久久精品成人动漫| 欧美成人亚洲成人| 欧美一区视频在线| 91精品久久久久久久| 亚洲国产精品久久久久秋霞蜜臀| 国产精品九九久久久久久久| 青草成人免费视频| 成人在线免费观看视视频| 国产精品视频免费在线观看| 亚洲欧美资源在线| 国产玖玖精品视频| 亚洲久久久久久久久久| 成人免费看吃奶视频网站| 国产精品久久久久久婷婷天堂| 亚洲已满18点击进入在线看片| 亚洲一区二区三区在线免费观看| 亚洲午夜未删减在线观看| 国产成人jvid在线播放| 日韩免费观看av| 成人精品久久久| 精品国产91久久久| 国产成人一区二区三区| 日韩中文字幕在线精品| 欧美午夜激情视频| 91久热免费在线视频| 成人免费网视频| 色偷偷偷亚洲综合网另类| 午夜精品www| 欧美一级视频一区二区| 亚洲男人天堂九九视频| 久久综合久久八八| 久久琪琪电影院| 欧美激情精品久久久久久| 欧美激情网站在线观看| 亚洲美女av在线播放| 国产丝袜精品第一页| 欧美在线不卡区| 日韩欧美成人网| 中文字幕亚洲综合久久| 久久久久久久一区二区| 国产91亚洲精品| 国产精品大陆在线观看| 在线日韩av观看| 亚洲午夜久久久久久久| 国产成人精彩在线视频九色| 久久视频精品在线| 国产精品爽黄69| 久久久久久久999| 九九热最新视频//这里只有精品| 精品国产精品自拍| 国产97人人超碰caoprom| 草民午夜欧美限制a级福利片| 欧美成人精品不卡视频在线观看| 欧美午夜片在线免费观看| 国产精品久久久av久久久| 亚洲高清久久久久久| 精品国产91久久久久久老师| 国产精品美女视频网站| 日韩av一区二区在线观看| 久久久久久久久中文字幕| 在线国产精品播放| 97**国产露脸精品国产| 成人精品aaaa网站| 91av福利视频| 日本高清视频一区| 日本一区二区三区四区视频| 亚洲系列中文字幕| 国产色婷婷国产综合在线理论片a| 日韩免费在线电影| 国产精品成人一区| 日韩国产欧美精品一区二区三区| 亚洲97在线观看| 欧美大尺度在线观看| 国产精品视频一| 亚洲毛片在线观看| 中文字幕av一区| 这里只有精品在线播放| 国产精品久久久久久久久免费看| 久久频这里精品99香蕉| 亚洲黄色在线观看| 久久精品国产99国产精品澳门| 麻豆国产va免费精品高清在线| 日韩在线视频网站| 久久久亚洲国产| 午夜精品福利在线观看| 日韩中文在线视频| 亚洲午夜国产成人av电影男同| 成人妇女淫片aaaa视频| 国产91热爆ts人妖在线| zzjj国产精品一区二区| 久久人人爽人人爽爽久久| 色综合久久天天综线观看| 美女啪啪无遮挡免费久久网站| 国产视频精品免费播放| 在线观看国产欧美| 精品小视频在线| 狠狠躁18三区二区一区| 中文字幕日韩在线观看| 国产精品吊钟奶在线| 38少妇精品导航| 97人洗澡人人免费公开视频碰碰碰| 九九精品视频在线| 亚洲精品美女在线观看播放| 国产福利精品在线| 久久久噜噜噜久噜久久| 欧美成人亚洲成人日韩成人| 国产精品成人国产乱一区| 色偷偷888欧美精品久久久| 成人妇女免费播放久久久| www日韩欧美| 97免费视频在线播放| 中文字幕日韩有码| 中文字幕日韩综合av| 欧美剧在线观看| 亚洲香蕉伊综合在人在线视看| 97精品在线观看| 欧美极品美女视频网站在线观看免费| 美女少妇精品视频| 欧美日韩亚洲视频| 色综合91久久精品中文字幕| 久久久精品免费| 91亚洲精品久久久久久久久久久久| 国产一区二区三区欧美| 欧美wwwwww| 操91在线视频| 黄色一区二区在线| 午夜精品久久久久久99热软件| 国产精品影院在线观看| 国产视频自拍一区| 性色av一区二区三区在线观看| 欧美日本高清一区| 欧美精品999| 亚洲网站在线观看| 国产v综合ⅴ日韩v欧美大片| 久久久伊人日本| 久久999免费视频| 亚洲专区在线视频| 亚洲人成绝费网站色www| 性欧美长视频免费观看不卡| 夜夜嗨av色一区二区不卡| 91色琪琪电影亚洲精品久久| 2019中文字幕在线观看| 97在线观看视频| 欧美日韩国产色视频| 国产精品va在线播放| 亚洲视频电影图片偷拍一区| 欧美性xxxxx极品| 欧美激情一区二区三区久久久| 综合网中文字幕| www.国产一区| 神马国产精品影院av| 久久久久久久久国产| 高清一区二区三区日本久| 怡红院精品视频| 国产一区欧美二区三区| 亚洲欧美国产日韩中文字幕| 久久久久久久激情视频| 精品久久久久久亚洲国产300|