亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > JavaScript > 正文

Puppeteer環境搭建的詳細步驟

2019-11-19 12:52:57
字體:
來源:轉載
供稿:網友

簡介

Puppeteer是Google開發并開源的一款工具,可用代碼驅動瀏覽器操作。

由于諸多優秀的特性,Puppeteer常被用在爬蟲與自動化測試上。詳細介紹參見官方 README 。

Puppeteer本身是個NodeJS的庫,自動化腳本也需要使用NodeJS編寫,如果對JS不了解建議先學習JavaScript基礎語法,或者使用Selenium等其他工具去實現。

對于一個陌生的工具,應當先檢查是否適合自己,再去嘗試使用,切莫盲目從眾。

Puppeteer 用處

  • 利用網頁生成PDF、圖片
  • 爬取SPA應用,并生成預渲染內容(即“SSR” 服務端渲染)
  • 可以從網站抓取內容
  • 自動化表單提交、UI測試、鍵盤輸入等
  • 幫你創建一個最新的自動化測試環境(chrome),可以直接在此運行測試用例6.捕獲站點的時間線,以便追蹤你的網站,幫助分析網站性能問題

配置

Node環境配置

下載并安裝NodeJS:

wget https://nodejs.org/dist/v8.12.0/node-v8.12.0-linux-x64.tar.xztar xf node-v8.12.0-linux-x64.tar.xzmv node-v8.12.0-linux-x64 /usr/local/libln -s /usr/local/lib/node-v8.12.0-linux-x64/bin/npm /usr/local/bin/ln -s /usr/local/lib/node-v8.12.0-linux-x64/bin/node /usr/local/bin/

*(可選)配置淘寶的源,加速npm包的下載:

npm config set registry https://registry.npm.taobao.org

安裝Puppeteer

配置淘寶的Puppeteer下載源,用于安裝Chromium:

export PUPPETEER_DOWNLOAD_HOST=https://storage.googleapis.com.cnpmjs.orgnpm i puppeteer

國內不配置時會在卡在下載Chromium

示例

新建一個test.js

const puppeteer = require('puppeteer');(async () => { const browser = await puppeteer.launch({  ignoreHTTPSErrors: true,  headless: false,  args: ['--no-sandbox'] }); const page = await browser.newPage(); await page.goto('https://intest.tech'); await page.waitFor(5e3); await browser.close();})();

運行:

node test.js

截圖

知識點

  • puppeteer.launch 啟動瀏覽器實例
  • browser.newPage() 創建一個新頁面
  • page.goto 進入指定網頁
  • page.screenshot 截圖
const puppeteer = require('puppeteer');(async () => {const browser = await (puppeteer.launch({// 若是手動下載的chromium需要指定chromium地址, 默認引用地址為 /項目目錄/node_modules/puppeteer/.local-chromium/executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium',//設置超時時間timeout: 15000,//如果是訪問https頁面 此屬性會忽略https錯誤ignoreHTTPSErrors: true,// 打開開發者工具, 當此值為true時, headless總為falsedevtools: false,// 關閉headless模式, 會打開瀏覽器headless: false}));const page = await browser.newPage();await page.goto('https://www.jianshu.com/u/40909ea33e50');await page.screenshot({path: 'jianshu.png',type: 'png',// quality: 100, 只對jpg有效fullPage: true,// 指定區域截圖,clip和fullPage兩者只能設置一個// clip: {// x: 0,// y: 0,// width: 1000,// height: 40// }});browser.close();})();

進階,獲取網易云音樂的歌詞和評論

網易云音樂的API經過AES和RSA算法加密,需要攜帶加密的信息通過POST方式請求才能獲取到數據。但 Puppeteer 出現后,這些都不重要了,只要它頁面上顯示了,通過 Puppeteer 都能獲取到該元素。

知識點

  • page.type 獲取輸入框焦點并輸入文字
  • page.keyboard.press 模擬鍵盤按下某個按鍵,目前mac上組合鍵無效為已知bug
  • page.waitFor 頁面等待,可以是時間、某個元素、某個函數
  • page.frames() 獲取當前頁面所有的 iframe,然后根據 iframe 的名字精確獲取某個想要的 iframe
  • iframe.$('.srchsongst') 獲取 iframe 中的某個元素
  • iframe.evaluate() 在瀏覽器中執行函數,相當于在控制臺中執行函數,返回一個 Promise
  • Array.from 將類數組對象轉化為對象
  • page.click() 點擊一個元素
  • iframe.$eval() 相當于在 iframe 中運行 document.queryselector 獲取指定元素,并將其作為第一個參數傳遞
  • iframe.$$eval 相當于在 iframe 中運行 document.querySelectorAll 獲取指定元素數組,并將其作為第一個參數傳遞
const fs = require('fs');const puppeteer = require('puppeteer');(async () => {const browser = await (puppeteer.launch({ executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium', headless: false }));const page = await browser.newPage();// 進入頁面await page.goto('https://music.163.com/#');// 點擊搜索框擬人輸入 鬼才會想起const musicName = '鬼才會想';await page.type('.txt.j-flag', musicName, {delay: 0});// 回車await page.keyboard.press('Enter');// 獲取歌曲列表的 iframeawait page.waitFor(2000);let iframe = await page.frames().find(f => f.name() === 'contentFrame');const SONG_LS_SELECTOR = await iframe.$('.srchsongst');// 獲取歌曲 鬼才會想起 的地址const selectedSongHref = await iframe.evaluate(e => {const songList = Array.from(e.childNodes);const idx = songList.findIndex(v => v.childNodes[1].innerText.replace(//s/g, '') === '鬼才會想起');return songList[idx].childNodes[1].firstChild.firstChild.firstChild.href;}, SONG_LS_SELECTOR);// 進入歌曲頁面await page.goto(selectedSongHref);// 獲取歌曲頁面嵌套的 iframeawait page.waitFor(2000);iframe = await page.frames().find(f => f.name() === 'contentFrame');// 點擊 展開按鈕const unfoldButton = await iframe.$('#flag_ctrl');await unfoldButton.click();// 獲取歌詞const LYRIC_SELECTOR = await iframe.$('#lyric-content');const lyricCtn = await iframe.evaluate(e => {return e.innerText;}, LYRIC_SELECTOR);console.log(lyricCtn);// 截圖await page.screenshot({path: '歌曲.png',fullPage: true,});// 寫入文件let writerStream = fs.createWriteStream('歌詞.txt');writerStream.write(lyricCtn, 'UTF8');writerStream.end();// 獲取評論數量const commentCount = await iframe.$eval('.sub.s-fc3', e => e.innerText);console.log(commentCount);// 獲取評論const commentList = await iframe.$$eval('.itm', elements => {const ctn = elements.map(v => {return v.innerText.replace(//s/g, '');});return ctn;});console.log(commentList);})();

參考

https://github.com/cnpm/cnpmjs.org/issues/1246#issuecomment-341631992

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持武林網。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
国产成人+综合亚洲+天堂| 少妇av一区二区三区| 91亚洲国产精品| 久久免费视频网| 欧美激情视频一区| 尤物yw午夜国产精品视频明星| 日韩精品在线观| 亚洲国产精品视频在线观看| 欧美天堂在线观看| 国产精品久久久久久久一区探花| 国产精品大片wwwwww| 中文字幕综合一区| 欧美另类xxx| 成人激情电影一区二区| 538国产精品一区二区免费视频| 国内精品400部情侣激情| 97精品国产91久久久久久| 国产精品久久在线观看| 欧美激情视频三区| 亚洲图片欧美日产| 91麻豆国产语对白在线观看| 久久天堂电影网| 欧美午夜无遮挡| 欧美极品第一页| 欧美色视频日本版| 色综合久久悠悠| 2021久久精品国产99国产精品| 久久影院在线观看| 日韩免费中文字幕| 欧美大肥婆大肥bbbbb| 国产在线观看91精品一区| 国产色综合天天综合网| 国产精品网红直播| 亚洲精品久久久久久久久久久| 成人免费网站在线| 国产日韩欧美另类| 日韩中文字幕在线视频播放| 久久99国产精品自在自在app| 国产精品色婷婷视频| 亚洲国产成人在线播放| 国产精品一区二区三区成人| 欧美激情欧美狂野欧美精品| 欧美日韩国产成人在线观看| 欧美精品日韩三级| 国产日本欧美在线观看| 亚洲精品中文字幕av| 亚洲欧美一区二区精品久久久| 亚洲视频一区二区三区| 国产日韩在线播放| 亚洲片在线资源| 久久久这里只有精品视频| 亚洲第一视频网| 欧美日韩国产一中文字不卡| 国语自产精品视频在线看| 日韩中文第一页| 亚洲免费一级电影| 色老头一区二区三区| 最近2019中文字幕第三页视频| 在线精品播放av| 日韩在线观看网址| 国产欧美va欧美va香蕉在线| 欧美一性一乱一交一视频| 欧美精品久久久久a| 欧美成人四级hd版| 亚洲欧美在线磁力| 欧美激情精品久久久久久蜜臀| 国产区精品视频| 亚洲级视频在线观看免费1级| 国产精品亚洲网站| 欧美高跟鞋交xxxxxhd| 日韩av影视在线| 国产精品99久久久久久白浆小说| 韩国美女主播一区| 国产小视频国产精品| 国产日韩中文在线| 日韩av影视在线| 日韩av在线网| 国产欧美va欧美va香蕉在线| 亚洲第一网中文字幕| 亚洲精选在线观看| 韩国国内大量揄拍精品视频| 国产不卡一区二区在线播放| 亚洲综合中文字幕在线观看| 亚洲精品一区中文字幕乱码| 性色av一区二区三区| 国产精品偷伦免费视频观看的| 精品久久久久久久久久久| 一本大道亚洲视频| 国产在线一区二区三区| 91国偷自产一区二区三区的观看方式| 日韩成人在线网站| 欧美日韩国产一中文字不卡| 成人激情视频网| 蜜臀久久99精品久久久无需会员| 国产精品青草久久久久福利99| 国产精品久久久久久久久久久久| 欧美肥老妇视频| 国产精品免费久久久| 欧美黑人一级爽快片淫片高清| 成人久久一区二区| 色偷偷噜噜噜亚洲男人的天堂| 中文字幕日韩欧美在线视频| 日韩高清电影免费观看完整版| 国产亚洲精品高潮| 国产精品国产福利国产秒拍| 黑人巨大精品欧美一区二区三区| 日韩美女免费线视频| 国产成人一区二区在线| 国产精品第一区| 正在播放国产一区| 日韩欧美视频一区二区三区| 国产一区红桃视频| 91视频88av| 7777精品视频| 亚洲国产日韩一区| 欧亚精品在线观看| 久久久久一本一区二区青青蜜月| 午夜免费日韩视频| 国产成人激情视频| 日韩中文字幕在线免费观看| 日韩av免费一区| 51精品国产黑色丝袜高跟鞋| 成人精品在线视频| 久久久精品国产亚洲| 精品偷拍一区二区三区在线看| 中文字幕av一区二区三区谷原希美| 日韩欧美在线视频观看| 久久久国产一区| 亚洲电影av在线| 久久网福利资源网站| 久久精品99国产精品酒店日本| 欧美美最猛性xxxxxx| 国产日韩亚洲欧美| 韩国国内大量揄拍精品视频| 中文字幕亚洲情99在线| 国产精品久久久久久久久影视| 欧美性极品少妇精品网站| 国产91在线高潮白浆在线观看| 亚洲国产成人在线播放| 久久伊人色综合| 国产午夜精品美女视频明星a级| 成人亚洲综合色就1024| 亚洲xxxxx电影| 亚洲丝袜在线视频| 国产香蕉精品视频一区二区三区| 8090理伦午夜在线电影| 精品国产一区久久久| 欧美成在线观看| 国产免费一区视频观看免费| 国产日韩换脸av一区在线观看| 欧美巨猛xxxx猛交黑人97人| 色妞在线综合亚洲欧美| 国内精品久久久久久影视8| 国产精品视频专区| 国产精品久在线观看| 久久久之久亚州精品露出| 国产日韩欧美视频在线| 最近2019年日本中文免费字幕| 亚洲视频在线免费观看| 国产亚洲日本欧美韩国| 国产激情视频一区| 亚洲国产精品字幕| 国产一区二区三区在线播放免费观看| 午夜欧美大片免费观看|