roboot協議也稱為機器人協議，或者爬蟲協議，他是指網站通過一個roboot.txt文件告訴遵循roboot協議的爬蟲引擎哪些頁面可以爬，哪些頁面不能爬取。比如天貓的一些網頁，搜索引擎就爬不到，但是這只是說，不讓爬，并不是說不能爬。只需在scrapy中設置使此爬蟲不遵循roboot協議即可。

做法：在setting.py中找到roboot的項（具體項的名字不記得了，在vim中只需搜索roboot即可。