抓取異常是什么？抓取異常對網站有什么影響？
2024-04-26 13:20:53
供稿：網友
網站收錄怎么又下降了，百度好像抓取出問題了，原因是什么怎么辦，所以今天就來分享下哈。
大綱如下：
1、抓取異常是什么？百度抓取異常又是什么？
2、百度抓取異常的原因有哪些？
3、網站抓取異常的原因有哪些？
4、百度抓取異常對網站有什么影響？
5、網站出現抓取異常的解決方法
抓取異常是什么？百度抓取異常又是什么？
所謂抓取異常，就是指搜索引擎蜘蛛無法抓取網站頁面，網站出現的抓取異常就是抓取異常，具體原因是什么下面會講到。
百度抓取異常是什么？簡單理解就是百度的蜘蛛（baiduspider）無法正常抓取，就是百度抓取異常。如上圖，來源網上。9月3號，百度蜘蛛來抓取時，抓取時連接超時2次。
百度抓取異常的原因有哪些？
百度抓取異常的原原因主要分兩大類，一是網站異常，二是鏈接異常。在哪里看呢，在百度搜索資源平臺（https://ziyuan.baidu.com）你添加后數據統計—抓取異常那里，如下圖。
網站異常原因：
1、dns異常
當百度蜘蛛（Baiduspider）無法解析您網站的IP時，會出現DNS異常。可能是您的 網站IP地址錯誤 ，或者 域名服務商把Baiduspider封禁了 。
可以用WHOIS或者host查詢自己網站IP地址是否正確而且可以解析，如果不正確或無法解析，與域名注冊商聯系，更新網站IP地址。
2、連接超時
抓取請求連接超時，可能原因是： 服務器過載 或 網絡不穩定。
3、抓取超時
抓取請求連接建立后，下載頁面速度 過慢 ，導致超時。可能原因服務器過載， 帶寬不足 。
4、連接錯誤
無法連接或者連接建立后對方服務器拒絕。
鏈接異常原因：
1、訪問被拒絕
爬蟲發起抓取，httpcode返回碼是403。
2、找不到頁面
爬蟲發起抓取，httpcode返回碼是404。
3、服務器錯誤
爬蟲發起抓取，httpcode返回碼是5XX
4、其他錯誤
爬蟲發起抓取，httpcode返回碼是4XX，不包括403和404。
關于上面提到的403、404、4XX、5XX等，其實都是網站HTTP狀態碼，如果不清楚同學，可以看這一篇： 白楊SEO：SEO入門學習之搜索引擎（百度）蜘蛛與網站HTTP狀態碼 ，再學習一下。
網站抓取異常的原因有哪些？
網站抓取異常的原因主要有以下五個方面：
1、服務器異常
服務器連接異常最大的可能是網站服務器過大，超負荷運轉，通過檢查瀏覽器輸入你的域名是否正常訪問。服務器異常會導致蜘蛛無法連接網站服務器，導致出現抓取失敗。
2、域名過期
域名過期網站肯定不能訪問，域名解析就會失效了。如果存在這類情況，你可以與你域名注冊商聯系解決，看是否被搶注，還是可以續費回來。
3、網絡運營商異常
電信和聯通這兩種都是屬于網絡運營商，蜘蛛無法訪問的網站。
如果是因為電信或聯通網絡運營商出現問題，與網絡服務運營商聯系或者購買CDN服務。
3、robots.txt文件設置問題
robots.txt的功效主要是一些不重要的文件屏蔽掉告訴搜索引擎這些些頁面可以不抓取，但也可能會存在把重要的頁面也給屏蔽了，可以檢查下robots文件設置。
關于ROBOTS.TXT，可以看我之前寫的這篇里面有寫到：
白楊SEO：新人學習SEO常遇到的15個SEO術語，建議收藏
4、死鏈接因素
原本正常的鏈接后來失效了就是死鏈接，死鏈接發送請求時，服務器返回404錯誤頁面。 死鏈的處理方案可以通過百度站長平臺提交死鏈文件。
5、網站被掛馬
網站被掛馬，要查詢掛馬文件在哪里并刪除?；謴途W站，更改登錄名和密碼，安全密保要從新設置，防止下次被掛馬。如果找不到，建議直接更換整個建站程序，換一個程序。
百度抓取異常對網站有什么影響？
如果網站上存在大量內容蜘蛛無法正常抓取，百度搜索引擎會認為網站給用戶的體驗上有缺陷（ 訪問網站的用戶沒有得到想要的東西，用戶的體驗感就會下降 ）降低對網站的評價。
而且，網站在 抓取、索引、權重 上都會受到一定程度的負面影響，更嚴重的會直接影響到網站從百度獲取的流量。 所以，百度網站抓取異常是非常嚴重的，一旦發現，盡量解決。
如何解決呢，繼續往下看。
網站出現抓取異常的解決方法
1、出現5XX類型錯誤情況
出現這些情況，并不是網站本身向搜索引擎說自己5XX問題，有時打開還是正常的，那么站長后臺的為什么會顯示這個錯誤呢？
如果出現此類問題百分百是因為你的網站服務器造成，而對于某一個狀態碼的含義，比如503，直接交給技術來進行解決。如果技術還是解決不了，那么建議更換一家服務器。
2、抓取出現DNS錯誤情況
很多SEO新人發現網站打不開了就會馬上找網站服務商，但是吧，域名DNS服務器有可能也會出現問題。當網站出現問題后，比如打不開，第一時間應當確定到底是什么問題？
如果是域名的DNS問題，那么白楊SEO建議更換DSN。因為有些DSN出現了這個問題，它后面還有可能出現。
如果要換，就要換大一點的DNS服務商，比如阿里云收購的萬網就不錯，畢竟大公司，穩定性還可以的。
3、出現抓取超時問題
現在做SEO排名已經到了用戶為王時代，用戶如果不能在第一時間打開你網站的頁面，那么就會跳到其他網站上去。而搜索引擎蜘蛛呢，一樣的。如果無法第一時間抓取，就會出現抓取超時問題。
上面說過，這個抓取超時，大多都是因為帶寬不足，或者是網站頁面太大而引發的所以解決方法建議如下：
（1）、在不影響圖片質量的情況下，對大的圖片進行壓縮哈；
（2）、減少比如網站的JS腳本文件類型的使用，或者把一些JS進行合并；跟技術說清楚。
（3）、整個網站頁面長度進行控制，尤其是你的網站首頁。很多人網站首頁做了十來屏，一般用戶最多下拉三到五屏。越長，整個加載就會越久。
（4）、網頁的內鏈數量，一般一個頁面互相之間的內鏈數量建議不要超過500條哦，其實越多，蜘蛛都會去往下爬取，小網站基本沒這個問題。
總之，百度抓取網站異常這個問題，建議建站時找成熟的程序建站，同時，找像阿里云這樣的大的服務商。不要總想著省錢，淘寶隨便幾百建個站，找個不知名服務商，其實這樣得不嘗失的。
