什么是404錯誤？404的處理方式及對SEO的影響發(fā)布者：本站     時(shí)間：2020-01-02 11:01:35

在“通過(guò)HTTP狀態(tài)碼查看搜索引擎蜘蛛如何爬行你的網(wǎng)站”一文中，我介紹了一些經(jīng)常涉及到的HTTP狀態(tài)碼及含義，譬如大家經(jīng)常探討并且與本文相關(guān)的Http狀態(tài)碼：

404：服務(wù)器找不到指定的資源，請求的網(wǎng)頁(yè)不存在(譬如瀏覽器請求的網(wǎng)頁(yè)被刪除或者移位，但不排除日后該鏈接有效的可能性)；
410：請求的網(wǎng)頁(yè)不存在(注意：410表示永久性，而404表示臨時(shí)性)；
200：服務(wù)器成功返回請求的網(wǎng)頁(yè)；
301：網(wǎng)址永久性重定向
302：網(wǎng)址臨時(shí)性重定向

注意：大部分搜索引擎將“404”與“410”狀態(tài)同等對待，如Google。(參見(jiàn)Matt Cutts的說(shuō)明)

對HTTP404狀態(tài)碼的理解

HTTP 404 錯誤意味著(zhù)鏈接指向的網(wǎng)頁(yè)不存在，即原始網(wǎng)頁(yè)的URL失效，這種情況經(jīng)常會(huì )發(fā)生，很難避免，比如說(shuō)：網(wǎng)頁(yè)URL生成規則改變、網(wǎng)頁(yè)文件更名或移動(dòng)位置、導入鏈接拼寫(xiě)錯誤等，導致原來(lái)的URL地址無(wú)法訪(fǎng)問(wèn)；當Web 服務(wù)器接到類(lèi)似請求時(shí)，會(huì )返回一個(gè)404 狀態(tài)碼，告訴瀏覽器要請求的資源并不存在。但是，Web服務(wù)器默認的404錯誤頁(yè)面，無(wú)論Apache還是IIS，均十分簡(jiǎn)陋、呆板且對用戶(hù)不友好，無(wú)法給用戶(hù)提供必要的信息以獲取更多線(xiàn)索，無(wú)疑這會(huì )造成用戶(hù)的流失。

因此，很多網(wǎng)站均使用自定義404錯誤的方式以提供用戶(hù)體驗避免用戶(hù)流失。一般而言，自定義404頁(yè)面通用的做法是在頁(yè)面中放置網(wǎng)站快速導航鏈接、搜索框以及網(wǎng)站提供的特色服務(wù)，這樣可以有效的幫助用戶(hù)訪(fǎng)問(wèn)站點(diǎn)并獲取需要的信息。

HTTP404對SEO的影響

自定義404錯誤頁(yè)面是提供用戶(hù)體驗的很好的做法，但在應用過(guò)程中往往并未注意到對搜索引擎的影響，譬如：錯誤的服務(wù)器端配置導致返回“200”狀態(tài)碼或自定義404錯誤頁(yè)面使用Meta Refresh導致返回“302”狀態(tài)碼。正確設置的自定義404錯誤頁(yè)面，不僅應當能夠正確地顯示，同時(shí)，應該返回“404”錯誤代碼，而不是“200”或“302”。雖然對訪(fǎng)問(wèn)的用戶(hù)而言，HTTP狀態(tài)碼究竟是“404”還是“200”來(lái)說(shuō)并沒(méi)有什么區別，但對搜索引擎而言，這則是相當重要的。

(一)自定義404錯誤頁(yè)返回“200”狀態(tài)碼

當搜索引擎蜘蛛在請求某個(gè)URL時(shí)得到“404”狀態(tài)回應時(shí)，即知道該URL已經(jīng)失效，便不再索引該網(wǎng)頁(yè)，并向數據中心反饋將該URL表示的網(wǎng)頁(yè)從索引數據庫中刪除，當然，刪除過(guò)程有可能需要很長(cháng)時(shí)間；而當搜索引擎得到“200”狀態(tài)回應時(shí)，則會(huì )認為該url是有效的，便會(huì )去索引，并會(huì )將其收錄到索引數據庫，這樣的結果便是這兩個(gè)不同的url具有完全相同的內容：自定義404錯誤頁(yè)面的內容，這會(huì )導致出現復制網(wǎng)頁(yè)問(wèn)題。對搜索引擎而言，特別是Google，不但很難獲得信任指數TrustRank，也會(huì )大大降低Google對網(wǎng)站質(zhì)量的評定。（為什么會(huì )出現返回“200”狀態(tài)碼的情況？？請參看下面內容“自定義404錯誤頁(yè)面的基本原則”）

我一直在使用Google Sitemap，當我們提交XML格式網(wǎng)站地圖文件時(shí)，Google會(huì )驗證我們的身份以確保是網(wǎng)站合法的管理者。驗證方式有兩種：上傳指定名稱(chēng)的html頁(yè)到網(wǎng)站根目錄或者在網(wǎng)頁(yè)meta區域添加一個(gè)標識身份的meta標簽。我通常是使用上傳html網(wǎng)頁(yè)的方式，但Google卻提示我網(wǎng)站根目錄下找不到這個(gè)網(wǎng)頁(yè)（實(shí)際上我已上傳，并且通過(guò)瀏覽器可以訪(fǎng)問(wèn)），這是一個(gè)很可怕的問(wèn)題。

(二)自定義404錯誤頁(yè)使用Meta Refresh返回“302”狀態(tài)碼

常?？吹皆S多網(wǎng)站的自定義404錯誤頁(yè)面采取類(lèi)似這樣的形式：首先顯示一段錯誤信息，然后，通過(guò)Meta Refresh將頁(yè)面跳轉到網(wǎng)站首頁(yè)、網(wǎng)頁(yè)地圖或其他類(lèi)似頁(yè)。根據具體實(shí)現方式不同，這類(lèi)404頁(yè)面可能返回“200”狀態(tài)碼，也可能返回“302”，但不論哪種，從SEO技術(shù)角度看，均不是一種合適的選擇。

對“200”狀態(tài)的情況我們上面已經(jīng)談過(guò)，那么，當404頁(yè)面返回“302”時(shí)，搜索引擎會(huì )怎么對待呢？從理論上說(shuō)，對“302”錯誤，搜索引擎認為該網(wǎng)頁(yè)是存在的，只不過(guò)臨時(shí)改變了地址，仍然會(huì )索引收錄該頁(yè)，這樣，同樣會(huì )出現類(lèi)似于“200”狀態(tài)碼時(shí)的重復文本問(wèn)題；其次，以google為代表的主流搜索引擎對302重定向的適用范圍要求越來(lái)越嚴格，這類(lèi)不當使用302重定向的情況存在很大的風(fēng)險。

確保自定義404錯誤頁(yè)面能夠返回“404”狀態(tài)碼

在自定義404錯誤頁(yè)面設置完畢后，一定要檢查一下其是不是能夠正確地返回“404”狀態(tài)碼?？梢允褂肧erver Header檢查工具，輸入一個(gè)不存在網(wǎng)頁(yè)的url，查看一下HTTP Header的返回情況，確信其返回的是“404 Not found”。

404錯誤的處理方式

(一)定制404錯誤頁(yè)面的基本原則

首先應明確的是，404錯誤應工作在服務(wù)器級而不是網(wǎng)頁(yè)級。對定制使用動(dòng)態(tài)頁(yè)面如PHP腳本類(lèi)型的404頁(yè)時(shí)，必須確保在PHP執行前服務(wù)器已經(jīng)順利地送出“404”狀態(tài)碼，不然，一旦執行到了ISAPI級別，返回的狀態(tài)碼便只能是“200”或其他如“302”之類(lèi)的重定向狀態(tài)碼了。

其次，在自定義網(wǎng)站的404錯誤頁(yè)面時(shí)，對設置的錯誤頁(yè)面URL鏈接應使用相對路徑而不是絕對路徑，而且自定義404頁(yè)面應該放在網(wǎng)站根目錄下。盡管無(wú)效鏈接可能是多種形式的URL，但當發(fā)生404訪(fǎng)問(wèn)錯誤時(shí)，WEB服務(wù)器會(huì )自動(dòng)將其轉到自定義的當404錯誤頁(yè)中，這跟URL的形似沒(méi)有關(guān)系。

(二)Apache下設置404錯誤頁(yè)面

為Apache Server設置 404錯誤頁(yè)面的方法很簡(jiǎn)單，只需在.htaccess 文件中加入如下內容即可：ErrorDocument 404 /notfound.php