亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > ASP > 正文

防止網站被采集的理論分析以及十條方法對策第1/2頁

2024-05-04 11:09:42
字體:
來源:轉載
供稿:網友
很多防采集方法在施行的時候需要考慮是否影響搜索引擎對網站的抓取,所以先來分析下一般采集器和搜索引擎爬蟲采集有何不同。

相同點:
a. 兩者都需要直接抓取到網頁源碼才能有效工作,
b. 兩者單位時間內會多次大量抓取被訪問的網站內容;
c. 宏觀上來講兩者IP都會變動;
d. 兩者多沒耐心的去破解你對網頁的一些加密(驗證),比如網頁內容通過js文件加密,比如需要輸入驗證碼才能瀏覽內容,比如需要登錄才能訪問內容等。

不同點:
搜索引擎爬蟲先忽略整個網頁源碼腳本和樣式以及html標簽代碼,然后對剩下的文字部分進行切詞語法句法分析等一系列的復雜處理。而采集器一般是通過 html標簽特點來抓取需要的數據,在制作采集規則時需要填寫目標內容的開始標志何結束標志,這樣就定位了所需要的內容;或者采用對特定網頁制作特定的正則表達式,來篩選出需要的內容。無論是利用開始結束標志還是正則表達式,都會涉及到html標簽(網頁結構分析)。

然后再來提出一些防采集方法
1、限制IP地址單位時間的訪問次數
分析:沒有哪個常人一秒鐘內能訪問相同網站5次,除非是程序訪問,而有這種喜好的,就剩下搜索引擎爬蟲和討厭的采集器了。

弊端:一刀切,這同樣會阻止搜索引擎對網站的收錄

適用網站:不太依靠搜索引擎的網站

采集器會怎么做:減少單位時間的訪問次數,減低采集效率

2、屏蔽ip
分析:通過后臺計數器,記錄來訪者ip和訪問頻率,人為分析來訪記錄,屏蔽可疑Ip。

弊端:似乎沒什么弊端,就是站長忙了點

適用網站:所有網站,且站長能夠知道哪些是google或者百度的機器人

采集器會怎么做:打游擊戰唄!利用ip代理采集一次換一次,不過會降低采集器的效率和網速(用代理嘛)。

3、利用js加密網頁內容
Note:這個方法我沒接觸過,只是從別處看來
分析:不用分析了,搜索引擎爬蟲和采集器通殺

適用網站:極度討厭搜索引擎和采集器的網站

采集器會這么做:你那么牛,都豁出去了,他就不來采你了

4、網頁里隱藏網站版權或者一些隨機垃圾文字,這些文字風格寫在css文件中
分析:雖然不能防止采集,但是會讓采集后的內容充滿了你網站的版權說明或者一些垃圾文字,因為一般采集器不會同時采集你的css文件,那些文字沒了風格,就顯示出來了。

適用網站:所有網站

采集器會怎么做:對于版權文字,好辦,替換掉。對于隨機的垃圾文字,沒辦法,勤快點了。

5、用戶登錄才能訪問網站內容
分析:搜索引擎爬蟲不會對每個這樣類型的網站設計登錄程序。聽說采集器可以針對某個網站設計模擬用戶登錄提交表單行為。

適用網站:極度討厭搜索引擎,且想阻止大部分采集器的網站

采集器會怎么做:制作擬用戶登錄提交表單行為的模塊

6、利用腳本語言做分頁(隱藏分頁)
分析:還是那句,搜索引擎爬蟲不會針對各種網站的隱藏分頁進行分析,這影響搜索引擎對其收錄。但是,采集者在編寫采集規則時,要分析目標網頁代碼,懂點腳本知識的人,就會知道分頁的真實鏈接地址。

適用網站:對搜索引擎依賴度不高的網站,還有,采集你的人不懂腳本知識

采集器會怎么做:應該說采集者會怎么做,他反正都要分析你的網頁代碼,順便分析你的分頁腳本,花不了多少額外時間。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
日本精品久久久| 九九久久精品一区| 国产又爽又黄的激情精品视频| 法国裸体一区二区| 日韩精品在线观看视频| 国产精品v片在线观看不卡| 欧美区二区三区| www.午夜精品| 亚洲一区二区三区四区视频| 欧美激情xxxxx| 性色av香蕉一区二区| 亚洲欧美激情视频| 日韩在线视频导航| 久久色精品视频| 欧美激情乱人伦一区| 国产精品成av人在线视午夜片| 久久九九热免费视频| 日韩禁在线播放| 91精品啪在线观看麻豆免费| 在线看片第一页欧美| 欧美精品www| 欧洲美女免费图片一区| 成人在线精品视频| 日韩精品视频在线免费观看| 成人av色在线观看| 国产精品自产拍在线观看中文| 97视频在线观看播放| 午夜精品视频在线| 久久精品国产精品亚洲| 亚洲欧美日韩中文在线制服| 国产偷亚洲偷欧美偷精品| 亚洲香蕉成人av网站在线观看| 亚洲影视中文字幕| 热久久美女精品天天吊色| 亚洲精品久久久久中文字幕欢迎你| 富二代精品短视频| 精品高清美女精品国产区| 一区二区福利视频| 97精品国产97久久久久久| 欧美成人一区二区三区电影| 中文字幕欧美在线| 国产一区二区三区中文| 在线看福利67194| 欧美精品激情在线观看| 97视频在线观看视频免费视频| 久久艳片www.17c.com| 国产免费观看久久黄| 亚洲级视频在线观看免费1级| 在线视频精品一| 国产综合香蕉五月婷在线| 国产97在线|亚洲| 亚洲国产天堂久久国产91| 日韩欧美亚洲一二三区| 亚洲加勒比久久88色综合| 国产激情综合五月久久| 国产精品美女www爽爽爽视频| 欧美中文字幕在线播放| 国产91在线高潮白浆在线观看| 国产精品7m视频| 欧美在线免费看| 国产盗摄xxxx视频xxx69| 欧美黄色免费网站| 538国产精品视频一区二区| 亚洲综合在线中文字幕| 日韩av手机在线观看| 色哟哟入口国产精品| 中文字幕亚洲一区二区三区五十路| 色www亚洲国产张柏芝| 日韩在线视频免费观看| 日韩在线视频线视频免费网站| 国产成人极品视频| 成人国产在线激情| 国产精品一区二区电影| 亲爱的老师9免费观看全集电视剧| 日韩精品欧美国产精品忘忧草| 国产精品扒开腿爽爽爽视频| 欧美高清理论片| 欧美日韩中文在线| 成人激情综合网| 精品国产一区二区三区久久久狼| 国产亚洲xxx| 欧美激情在线观看| www高清在线视频日韩欧美| 国产视频精品va久久久久久| 91沈先生作品| 国产亚洲一区二区在线| 在线看片第一页欧美| 国产香蕉97碰碰久久人人| 久久夜精品va视频免费观看| 欧美激情中文字幕乱码免费| 一区二区三区www| 精品国产91久久久久久老师| 久久6免费高清热精品| 一区二区三区国产视频| 亚洲欧洲成视频免费观看| 日韩一区二区三区国产| 亚洲欧美日韩国产中文专区| 91精品久久久久久久久久另类| 欧美中文字幕第一页| 中文字幕在线视频日韩| 91社影院在线观看| 亚洲网站在线看| 另类色图亚洲色图| 久久精品成人一区二区三区| 亚洲欧洲午夜一线一品| 午夜精品久久久久久99热软件| 日韩a**站在线观看| 亚洲精品一区二区网址| 成人有码视频在线播放| 琪琪亚洲精品午夜在线| 久久久久久国产精品| 久久久精品中文字幕| 国产精品久久久久国产a级| 欧美日韩另类在线| 久久久av免费| 57pao精品| 久久免费视频在线| 精品国产福利视频| 午夜精品一区二区三区在线视频| 奇米4444一区二区三区| 国产午夜一区二区| 影音先锋欧美精品| 国产成人高潮免费观看精品| 欧美视频中文在线看| 久久久伊人日本| 久久人人爽人人爽爽久久| 7m第一福利500精品视频| 疯狂欧美牲乱大交777| 日本老师69xxx| 国产日韩中文在线| 国产小视频91| 亚洲视频在线视频| 77777少妇光屁股久久一区| 欧美性高潮床叫视频| 一本一道久久a久久精品逆3p| 亚洲人成电影网站色xx| 欧美多人乱p欧美4p久久| 欧美电影免费在线观看| 国产欧美日韩最新| 一二美女精品欧洲| 中文字幕精品在线视频| 国产成人精品国内自产拍免费看| 欧美高清在线视频观看不卡| 91精品久久久久久久久久入口| 欧美激情xxxx| 日韩视频精品在线| 一区二区亚洲欧洲国产日韩| 日韩精品高清在线观看| 欧美成人在线网站| 精品日韩视频在线观看| 成人网在线视频| 韩日精品中文字幕| 国产亚洲视频在线观看| 亚洲精品小视频在线观看| 欧美中文字幕在线观看| 国产精品尤物福利片在线观看| 久久综合免费视频影院| 欧美日韩在线视频一区二区| 国产免费一区二区三区在线观看| 亚洲在线免费看| 日韩中文字幕在线视频播放| 国产69久久精品成人看| 日韩精品一二三四区| 欧美野外猛男的大粗鳮|