亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 網站 > 建站經驗 > 正文

robots協議是什么？robots文件如何使用？

2024-04-25 20:46:00
字體：大 中 小
來源：轉載
供稿：網友
　Robots協議 

　　Robots協議，又稱為機器人協議，網站用來告知搜索引擎哪些頁面可以被抓取，哪些頁面不能被抓取的。體現在位于網站根目錄下的robots.txt文件中，它并不是一個命令，只是一種國際上通行的規范，將網站的一些不能被抓取的文件或者目錄，記錄在robots.txt中，當搜索引擎的蜘蛛訪問這個網站時候，首先就會去訪問robots文件，得知不能被抓取目錄和文件信息。 

　　Robots文件的寫法 

　　User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符 

　　Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄 

　　Disallow: /admin/*.html 禁止訪問/admin/目錄下的所有以".html"為后綴的URL(包含子目錄)。 

　　Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址 

　　Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片 

　　Disallow:/admin/adc.html 禁止爬取admin文件夾下面的adc.html文件。 

　　Allow: 的用法同Disallow 相反 

　　Sitemap: 告訴搜索引擎蜘蛛這個頁面是網站地圖 

　　Robots案列說明 

　　1， 禁止所有搜索引擎訪問網站的任何部分 

　　User-agent: * 

　　Disallow: / 

　　2， 攔截子目錄中某個頁面之外的其他所有頁面 

　　User-agent: * 

　　Allow: /admin/login.html 

　　Disallow: /admin/ 

　　3， 要攔截對所有以 ABC 開頭的子目錄的訪問 

　　User-Agent:* 

　　Disallow: /ABC*/ 

　　4， 要攔截對所有包含問號 (?) 的網址的訪問 

　　User-agent: * 

　　Disallow: /*?* 

　　5， 要攔截以 .asp 結尾的網址 

　　User-agent: * 

　　Disallow: /*.asp$ 

　　備注：1，*是通配符。2，?是匹配符。3，$是結束符 

　　建議僅當您的網站包含不希望被搜索引擎收錄的內容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容，請勿建立robots.txt文件。 

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
91久久久久久久| 欧美日韩国产色视频| 欧美一级免费视频| 日韩av在线免费播放| 国产精品露脸av在线| 久久久久久免费精品| 日韩av中文字幕在线免费观看| 91精品啪aⅴ在线观看国产| 亚洲午夜精品久久久久久久久久久久| 精品综合久久久久久97| 日韩电影第一页| 日韩精品视频免费在线观看| 在线观看视频亚洲| 97免费视频在线| 亚洲级视频在线观看免费1级| 亚洲国产精品专区久久| 精品国产一区二区在线| 亚洲欧美日韩区| 91色视频在线导航| 亚州精品天堂中文字幕| 亚洲人成亚洲人成在线观看| 日韩成人中文电影| 狠狠操狠狠色综合网| 日韩av免费一区| 亚洲第一福利在线观看| 亚洲精品456在线播放狼人| 欧美在线观看网站| 日本a级片电影一区二区| 日韩高清不卡av| 久久久精品影院| 69久久夜色精品国产7777| 狠狠躁夜夜躁人人爽超碰91| 国产精品久久久久久av福利软件| 精品亚洲国产成av人片传媒| 日本久久亚洲电影| 午夜精品久久久久久久白皮肤| 国产日韩欧美日韩| 亚洲欧美自拍一区| 日韩精品免费在线视频观看| 55夜色66夜色国产精品视频| 这里精品视频免费| 日本不卡高字幕在线2019| 国产成人精彩在线视频九色| 欧美人与性动交| 欧美在线视频播放| 色偷偷91综合久久噜噜| 欧美大尺度激情区在线播放| 日韩av电影免费观看高清| 欧美最猛性xxxx| 成人网页在线免费观看| 亚洲精品国产精品乱码不99按摩| 91免费精品国偷自产在线| 国产精品久久久久av| 久久91精品国产91久久久| 久久精品男人天堂| 欧美日韩成人在线观看| 欧美精品在线视频观看| 国产成人精品在线播放| 日本午夜人人精品| 国产v综合ⅴ日韩v欧美大片| 欧美激情性做爰免费视频| 国产精品成人v| 国产精品自在线| 国产欧美日韩综合精品| 麻豆国产va免费精品高清在线| 欧美黑人性视频| 欧美精品www在线观看| 在线播放国产一区中文字幕剧情欧美| 久久国产视频网站| 中文字幕欧美日韩va免费视频| 国产精品视频免费在线| 日韩成人av网| 国产91色在线播放| 国产成人jvid在线播放| 久久伊人精品视频| 亚洲国产成人精品久久久国产成人一区| 最近2019中文字幕第三页视频| 久热在线中文字幕色999舞| 成人亚洲欧美一区二区三区| 亚洲国产另类久久精品| 欧美国产日本高清在线| 久久免费精品视频| 日韩av最新在线观看| 国产一区二区成人| 国产97在线视频| 亚洲色图综合网| 7777精品久久久久久| 色婷婷成人综合| 国产精品国产亚洲伊人久久| 欧美丝袜一区二区三区| 韩国精品久久久999| 国产成人精品免费久久久久| 亚洲精品99999| 日韩电影在线观看中文字幕| 国产成人综合精品| 92版电视剧仙鹤神针在线观看| 久久久久国产精品免费网站| 亚洲精品小视频| 久久精视频免费在线久久完整在线看| 国内成人精品视频| 亚洲成在人线av| 日韩国产高清视频在线| 日日狠狠久久偷偷四色综合免费| 久久久久久久成人| 欧美专区日韩视频| 国产精品久久久久久久久久三级| 日韩精品在线电影| 国产精品久久久久久久久| 欧美三级免费观看| 亚洲国产日韩欧美综合久久| 超碰97人人做人人爱少妇| 国产啪精品视频网站| 中文字幕不卡在线视频极品| 国产a∨精品一区二区三区不卡| 88国产精品欧美一区二区三区| 欧美电影免费播放| 亚洲深夜福利网站| 亚洲欧美日韩一区在线| 成人免费看吃奶视频网站| 久久综合伊人77777| 欧美日韩性视频| 欧美高清视频一区二区| 成人激情免费在线| 午夜精品久久久久久99热| 深夜精品寂寞黄网站在线观看| 久久久久久久久久久网站| 97视频在线观看免费高清完整版在线观看| 国产精品第10页| 国产不卡av在线| 中文字幕在线观看亚洲| 在线观看精品国产视频| 欧美成人激情图片网| 97精品一区二区视频在线观看| 中文欧美日本在线资源| 日韩在线播放视频| 欧美色道久久88综合亚洲精品| 777国产偷窥盗摄精品视频| 日韩有码视频在线| 欧美激情精品久久久久久| 91精品美女在线| 伊人精品在线观看| 欧美午夜无遮挡| 国产成人免费av电影| 欧美成人午夜免费视在线看片| 久久亚洲精品国产亚洲老地址| 日韩av电影手机在线观看| 欧美激情第6页| 亚洲精品99久久久久中文字幕| 91嫩草在线视频| 国产精品一区av| 久久免费福利视频| 国产男女猛烈无遮挡91| 中文国产成人精品| 久久久久久久久久久91| 97香蕉超级碰碰久久免费软件| 91香蕉嫩草神马影院在线观看| 91精品中国老女人| 精品国产一区久久久| 国产精品美女主播在线观看纯欲| 久久久久久久一| 亚洲国产成人av在线| 久久亚洲影音av资源网| 亚洲成人激情图| 精品视频9999|