Linux/Nginx查看搜索引擎蜘蛛爬蟲(chóng)的行為發(fā)布者：本站     時(shí)間：2020-05-14 15:05:20

做好網(wǎng)站SEO優(yōu)化的第一步就是首先讓蜘蛛爬蟲(chóng)經(jīng)常來(lái)你的網(wǎng)站進(jìn)行光顧，下面的Linux命令可以讓你清楚的知道蜘蛛的爬行情況。下面我們針對nginx服務(wù)器進(jìn)行分析，日志文件所在目錄：/usr/local/nginx/logs/access.log，access.log這個(gè)文件記錄的應該是最近一天的日志情況，首先請看看日志大小，如果很大(超過(guò)50MB)建議別用這些命令分析，因為這些命令很消耗CPU，或者更新下來(lái)放到分析機上執行，以免影響網(wǎng)站的速度。

Linux shell命令

1. 百度蜘蛛爬行的次數

cat access.log | grep Baiduspider | wc

最左面的數值顯示的就是爬行次數。

2. 百度蜘蛛的詳細記錄(Ctrl C可以終止)

cat access.log | grep Baiduspider

也可以用下面的命令：

cat access.log | grep Baiduspider | tail -n 10

cat access.log | grep Baiduspider | head -n 10

只看最后10條或最前10條，這用就能知道這個(gè)日志文件的開(kāi)始記錄的時(shí)間和日期。

3. 百度蜘蛛抓取首頁(yè)的詳細記錄

cat access.log | grep Baiduspider | grep “GET / HTTP”

百度蜘蛛好像對首頁(yè)非常熱愛(ài)每個(gè)鐘頭都來(lái)光顧，而谷歌和雅虎蜘蛛更喜歡內頁(yè)。

4. 百度蜘蛛派性記錄時(shí)間點(diǎn)分布

cat access.log | grep “Baiduspider ” | awk ‘{print $4}’

5. 百度蜘蛛爬行頁(yè)面按次數降序列表

cat access.log | grep “Baiduspider ” | awk ‘{print $7}’ | sort | uniq -c | sort -r

文中的Baiduspider 改成Googlebot都可以查看谷歌的數據，鑒于大陸的特殊性，大家應該對百度的log更為關(guān)注。

附：(Mediapartners-Google)Google adsense蜘蛛的詳細爬行記錄

cat access.log | grep Mediapartners

Mediapartners-Google是什么呢?Google adsense廣告之所以能與內容相關(guān)，因為每個(gè)包含著(zhù)adsense的廣告被訪(fǎng)問(wèn)后，很快就有個(gè)Mediapartners-Google蜘蛛來(lái)到這個(gè)頁(yè)面，所以幾分鐘后再刷新就能顯示相關(guān)性廣告了，真厲害??！