你的網站信息安全嗎？樹大招風，一些公司往往再收到攻擊之后，才想起網站安全。網站注冊的個人信息能被黑客們輕易的拿下，對用戶造成的損失無法估量。沒有100%安全而完美的系統，黑客們樂此不彼的研究著這些網站的安全漏洞，總有一天會被攻破。

網站根目錄下的robots.txt文件告訴搜索引擎的訪問范圍，使用方法很簡單，但是搜索引擎還是個人來說都是可以訪問的， 很多新人不知道這個文件的重要性，對于滲透測試人員或黑客，可以通過robots.txt文件發現敏感信息，比如猜測這是什么后臺用什么數據庫等，意味著自己的網站是真空上陣。

網上有人這么做：在IIS中，選中robots.txt，右鍵屬性里，選中重定向到URL，輸入任意一個非本站的URL路徑，勾選“上面準確的URL”以及“資源的永久重定向”，有點基礎的童鞋知道，訪問 http://域名/robots.txt 時，是自動跳轉到指定的那個非本站URL路徑。 這個方法在Apache環境中可以借助.htaccess達到這個重定向的目的。

但是對于蜘蛛來說，這樣的跳轉意味著站內不存在這個文件，那蜘蛛就不會遵守這個規則，把能發現的URL都抓了。

為防止別人利用robots文件泄露了網站的結構，做其他手腳，站長們是絞盡腦汁。不讓搜索引擎來抓這個文件，那就不遵從抓取范圍，都會放進索引庫，對不想讓搜索引擎建立索引的方法參考：頁面不讓搜索引擎建立索引。

比如某個重要文件夾為admin，可以這樣寫robots

意思是禁止所有搜索引擎索引根目錄下a開頭的目錄，一般的網站的比較通用的命名有admin,include,templets,plus等，這些都是重要的文件夾，可以修改文件名，但是其他關聯一并修改，否則系統會出錯。

當然你也要看流量來源，如果有，那就不要屏蔽，實在是少得很有每天很勤快的來訪的話，可以屏蔽。

robots屏蔽蜘蛛

.htaccess屏蔽蜘蛛

或者如下寫法，中間加就行了