很多SEO新人朋友剛剛建立的網站說多長多長時間了就是不收錄。實際網站收錄是有一定的條件的。先來看一個朋友的網站案例:
這個網站3月份上線,每天不停更新文章,不停發布外鏈,但是始終不能被百度收錄。
百度收錄原理:
首先搜索搜索引擎排出大量爬蟲對網站內容進行抓取,順著鏈接一邊下載,一邊提取鏈接,然后在進行過濾、去重、索引、建立結果等一系列算法,新手可以參考百度官方的《搜索引擎基礎知識》,了解了這個過程才明確了百度收錄的順序。
所以,想要收錄文章,除了組織好內容外,還要讓爬蟲進行抓取。
朋友的網站剛上線,下載了他的網站日志,通過日志分析工具分析出來最近幾天的抓取情況如下:
每天蜘蛛訪問次數都在增加,訪問頁面也在增加,但是抓取的頁面都不是正規頁面,全是一些無用頁面,比如評論頁面等,最大化的抓取都在首頁,而且首頁 抓取完,全是抓取無用頁面,想要收錄還真的夠難,未來頂多收錄首頁。盡在多努力,也還是不會被收錄,打開網站一看,頁面重要位置全是無用頁面,網站程序也 是影響收錄的一個重要因素。
之前通過各種測試,了解了一個搜索引擎收錄爬蟲最起碼的順序大致如下:
1、訪問robots.txt
2、訪問首頁
3、欄目頁/歸檔頁/站點地圖
4、css/js
5、內容頁
基本抓取過這些頁面以后才會更好的去根據算法決定是否收錄,當然這個僅僅是蜘蛛抓取的順序,其中的2、3、4順序可能有不同的顛倒,但是一般一次收 錄至少要經歷這幾個過程,另外為什么要訪問這幾個順序我就不在這里做過多解釋了,在利為匯SEOVIP培訓里面我會講出來。另外,文章的頁面價值也是影響 收錄不收錄的一個關鍵因素,不在這個抓取順序范圍內。
所以,朋友的網站不被收錄最重要原因在于,蜘蛛抓取深度不夠深,而且沒有完成有效的抓取,解決方法:修改程序,把一些沒用的頁面屏蔽掉,或者直接換 一個比較利于抓取的模板更好,很多新手SEO人員,經常會遇到這個問題,所以最快的方法就是下載網站的日志用日志分析軟件分析下每天有多少蜘蛛抓取你的網 站這樣子才能更有效果的做SEO。日志分析工具推薦:光年日志分析工具
問題1:現在換模板可以嗎?
答:可以,因為蜘蛛基本沒有訪問過你的內頁,就相當于之前寫的文章對于搜索引擎來說還沒遇到過,換模板不受影響。
問題2:蜘蛛抓取這個順序怎么的來的?
答:經過之前很多次百度“秒收”經驗,通過研究蜘蛛抓取總結得來的,至于準不準確,自己可以測試看下。
新聞熱點
疑難解答