Python常用庫的安裝
urllib、re 這兩個庫是Python的內置庫，直接使用方法import導入即可。
在python中輸入如下代碼：
import urllibimport urllib.requestresponse=urllib.request.urlopen("http://www.baidu.com")print(response)返回結果為HTTPResponse的對象：
<http.client.HTTPResponse object at 0x000001929C7525F8>
正則表達式模塊
import re
該庫為python自帶的庫，直接運行不報錯，證明該庫正確安裝。
requests這個庫是請求的庫
我們需要使用執行文件pip3來進行安裝。文件處于C:/Python36/Scripts下，我們可以先將此路徑設為環境變量。在命令行中輸入pip3 install requests進行安裝。安裝完成后進行驗證
>>> import requests>>> requests.get('http://www.baidu.com')<Response [200]>selenium實際上是用來瀏覽器的一個庫
做爬蟲時可能會碰到使用JS渲染的網頁，使用requests來請求時，可能無法正常獲取內容，我們使用selenium可以驅動瀏覽器獲得渲染后的頁面。也是使用pip3 install selenium安裝。進行驗證
>>> import selenium>>> from selenium import webdriver>>> driver = webdriver.Chrome()DevTools listening on ws://127.0.0.1:60980/devtools/browser/7c2cf211-1a8e-41ea-8e4a-c97356c98910>>> driver.get('http://www.baidu.com')上述命令可以直接打開chrome瀏覽器，并且打開百度。但是，在這之前我們必須安裝一個chromedriver，并且安裝googlchrome瀏覽器，可自行去官網下載。當我們安裝完畢后再運行這些測試代碼可能依舊會出現一閃而退的情況，那么問題出在，chrome和chromdriver的版本不兼容，可以在官網下載chrome更高的版本，或者chromedriver更低的版本，但是只要都是最高版本就沒問題。
如何查看本機的chrome的版本，具體方法如下：
chromedriver的下載地址如下：
http://chromedriver.storage.googleapis.com/index.html
chromedriver解壓后放到Python或者其他配置了環境變量的目錄下。
phantomjs是一個無界面瀏覽器，在后臺運行
可在官網自行下載。并且需要將phantomjs.exe 的所在目錄設為環境變量。測試代碼
>>> from selenium import webdriver>>> driver = webdriver.PhantomJS()>>> driver.get('http://www.baidu.com')>>> driver.page_source'<!DOCTYPE html><!--STATUS OK--><html><head>/n lxml
使用pip3 install lxml安裝
beautifulsoup是一個網絡解析庫，依賴于lxml庫
新聞熱點
疑難解答
