最近做了幾個寫爬蟲的小項目（從頁面端到APP端的都有），在網上搜尋了一番好用的爬蟲工具，做了個工具集整理：

Puppeteer

簡介

Puppeteer 是一個Node庫，它提供了一個高級 API 來通過 DevTools協議控制Chromium或Chrome。簡單點說，就是使用Node命令控制一個無需渲染至用戶界面的瀏覽器。

與使用 PhantomJS 搭配 Python 進行爬蟲抓取類似，其原理也是去完全地模擬一個瀏覽器進行頁面的渲染，從而抓取其中某些特定的內容。

特性

Puppeteer 可以完整地模擬一個瀏覽器的行為，并且可以進行截圖、攔截瀏覽器請求、獲取Cookie、通過Node注入JS代碼等操作，使用Chrome瀏覽器開發者工具能做到的，Puppeteer也能做到。

使用起來也十分的簡單，以下是官方的例子：

const puppeteer = require('puppeteer');(async () => { const browser = await puppeteer.launch(); const page = await browser.newPage(); await page.goto('https://example.com'); await page.screenshot({path: 'example.png'}); await browser.close();})();

在GitHub上放了一份自己寫的使用Puppeteer獲取微博cookie的代碼，歡迎查看：

https://github.com/SP-Lyu/puppeteer_weibo_cookie/blob/master/index.js

由于 Puppeteer 基于Chromium，每次都需要載入頁面再進行頁面分析，性能十分有限，下面提到的 cheerio 則可以從另一層面解決這個問題。

文檔

GitHub 

中文API地址

cheerio

cheerio 是一個輕型靈活，類jQuery的對HTML元素分析操作的工具。在進行一些server端渲染的頁面以及一些簡單的小頁面的爬取時， cheerio 十分好用且高效。

特性

cheerio 包括了jQuery的核心子集，意味著可以直接使用jQuery的API進行元素的操控，官方的例子：

const cheerio = require('cheerio')const $ = cheerio.load('<h2 class="title">Hello world</h2>')$('h2.title').text('Hello there!')$('h2').addClass('welcome')$.html()//=> <h2 class="title welcome">Hello there!</h2>

自己寫的獲取某個網站的所有a鏈接：

const cheerio = require('cheerio');const get = function(){/*HTTP get請求...*/}(async ()=>{ const html = await get(`http://example.com`); const $ = cheerio.load(html); const $dom_arr = $('a'); $dom_arr.each((index, elem)=>{  const url = $(elem).attr('href') || '';  console.log(url); });})();

文檔

GitHub

Auto.js

國人開發的，使用js編寫代碼操作Android設備的自動化工具，對于爬取某些加固措施較好的APP來說十分有用，而且有非常完善的文檔以及社區，十分良心。

使用Auto.js進行設備自動化操作，再通過代理進行請求數據的獲取，能繞開加固中難以破解的加密串。

特性

作為爬蟲工具，好處有：

1. 采用JavaScript作為腳本語言開發，JS開發者0成本接入；
2. 兼容性良好，大多數任務不需要root權限；
3. 自帶界面分析工具，方便定位需要操作的元素。

從Auto.js載入某個APP，并點擊進入某個頻道的例子：

// 聲明環境auto();// 設備常亮device.keepScreenDim();// 調起APPlaunchApp('頭條');sleep(10000);// 找到某個頻道，并點擊進入var rect = text('視頻').findOnce().bounds();var x = rect.centerX();var y = rect.centerY();click(x, y);// 點擊進入詳情，使用代理抓取并處理請求......

文檔

GitHub
中文文檔
社區

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持武林網。