js逆向解密之網絡爬蟲

2024-05-06 16:51:36

字體：大中小

來源：轉載

供稿：網友

1 引言

數月前寫過某網站（請原諒我的掩耳盜鈴）的爬蟲，這兩天需要重新采集一次，用的是scrapy-redis框架，本以為二次爬取可以輕松完成的，可沒想到爬蟲啟動沒幾秒，出現了大堆的重試提示，心里頓時就咯噔一下，悠閑時光估計要結束了。
仔細分析后，發現是獲取店鋪列表的請求出現問題，通過瀏覽器抓包，發現請求頭參數中相比之前多了一個X-Shard和x-uab參數，如下圖所示：

js,逆向解密,網絡爬蟲

X-Shard倒是沒什么問題，一看就是興趣點的經緯度，但x-uab看過之后就讓人心里苦了，js加密啊，只能去逆向解密了。

2 js逆向求解

最直接的思路是根據“x-uab”關鍵字在所有關鍵中查找（chrome瀏覽器-source中按ctrl + shift + F快捷鍵），結果如下所示：

js,逆向解密,網絡爬蟲

接下來，打個斷點調試一下：在數字那里點一下，數字位置出現藍點，表示添加斷點成功，然后刷新獲取店鋪列表的頁面，程序會在斷點處停下。如下所示：

js,逆向解密,網絡爬蟲

在控制臺調試o.getUA()函數，看一下輸出：

js,逆向解密,網絡爬蟲

果然是，證明猜測沒錯，就是這個o.getUA()函數負責生成請求頭中的x-uab參數。
繼續向下查看這個getUA()函數的引用（把光標放在要查看的函數上，就可以查看這個函數的引用），就是下圖這個函數：

js,逆向解密,網絡爬蟲

圖中的s就是我們要的x-uab參數，下圖在控制臺輸出可以證明：

js,逆向解密,網絡爬蟲

所以，u-xab是這里的e生成的，而函數e傳入的參數中，第一個是常量2，第二個參數a是undefined，呵，看起來沒有傳其它參數。繼續向下找這個e(2,a)函數：

js,逆向解密,網絡爬蟲

就是這個function e(r, i, n, h, p) 方法，直接運行可以獲取加密后的參數。把這個function e(r, i, n, h, p) 方法全部代碼取出來，另存為一個js文件。

回到頂部

3 擼代碼

3.1 方案一

你以為上面找出生成x-uab的js代碼，就大功告成了嗎？少年，you are too young too simple！
怎么把這段js腳本運行起來，才是關（nan）鍵（dian）。
這個function e(r, i, n, h, p) 函數有近4萬行代碼，重新用Python實現難（jiu）度（shi）有（bu）點（ke）大（neng）。所以，我選擇直接用Python來執行這段js腳本。
怎么用python執行js腳本，度娘會給你一堆資料，自己查吧。我這里選擇的是execjs。
因為在上面復制出來的腳本中，只單單定義了一個e(r, i, n, h, p)方法，并沒有調用這個方法，所以，我要要在js文件的末尾添加一些代碼來調用：

function getParam() { var a; var param = e(2,a); return param};

然后，開始擼Python代碼吧：

import execjs node = execjs.get()file = 'eleme.js'ctx = node.compile(open(file).read())js_encode = 'getParam()'params = ctx.eval(js_encode)print(params)

嘗試執行，心涼，代碼異常：

execjs._exceptions.ProgramError: TypeError: 'window' 未定義

window對象估計是瀏覽器打開是創建的，蘊含瀏覽器的信息，所以用Python來執行這段代碼時，沒有這個對西鄉。本來想嘗試偽造window對象，但查找之后發現js腳本中上百個地方用到window，這還沒完，代碼經過混淆，在下水平不夠，沒法追根溯源（這地方困擾了我許久，哪位前輩如果知道方法，請告知）。
后來，從一個前輩那里（感謝前輩）獲知一個方法繞過去。這個前輩的方法是將execjs的引擎換成PhantomJS這個無頭瀏覽器（之前用的引擎是node.js），換句話說就是用PhantomJS來執行js腳本，PhantomJS是一個瀏覽器，自然就會創建window對象。

使用PhantomJS之前，需要下載它的驅動，然后放下Python代碼統一目錄下。對之前的Python代碼也進行修改：

import execjs import osos.environ["EXECJS_RUNTIME"] = "PhantomJS"node = execjs.get()file = 'eleme.js'ctx = node.compile(open(file).read())js_encode = 'getParam()'params = ctx.eval(js_encode)print(params)

果然，按照這個方法，成功獲取加密字符串。

3.2 方案二

事實上，這個方案二才是我在出現未定義window對象異常后首先嘗試的方法，不過因為往js代碼中添加的js腳本有問題，以為行不通，所以請教前輩，得到了方案一。

方案二的思路和方案一類似，不過更加粗暴一些。不是因為沒在瀏覽器執行，造成沒有window對象嗎？那我就模擬瀏覽器來執行。

在執行之前，同樣要修改js腳本，在js文件末尾調用e方法，添加如下代碼：

var a;var param = e(2,a);return param;

切記：不要放在任何函數里面，我之前就是因為將這段代碼放在函數里頭強制執行，導致的結果就是在瀏覽器里可以獲取加密字符串，但是在Python中獲取到的卻是None。

模擬瀏覽器用的selenium和chrome的webDriver，代碼如下：

from selenium import webdriver browser = webdriver.Chrome(executable_path='chromedriver.exe')with open('eleme.js', 'r') as f: js = f.read()print(browser.execute_script(js))

這個方法也是可以獲得加密之后的字符串。

最后，有必要說一下的是，如果需要獲取大量的x-uab，采用方案二效率會高一下，因為采用方案二的話，可以自打開一個瀏覽器（都調用一個webdriver對象），然后快速執行js，返回加密字符串。

4 總結

一次js逆向解密，算是完成了吧。但是也留下了一些問題：

（1）使用chrome斷點調試時，js腳本都是壓縮混淆之后的，通過chrome的pretty print功能（也就是說那對花括號）可以格式美化，但是，有的時候卻會失敗，就像下圖，格式化后，還是一團糟：

js,逆向解密,網絡爬蟲