[官方]百度蜘蛛抓取流量暴增的原因

先我們來(lái)說(shuō)說(shuō)這兩個(gè)問(wèn)題，百度是怎么計(jì)算分配抓取流量的呢？站點(diǎn)抓取流量暴增的原因有哪些呢？

　　總體來(lái)說(shuō)，Baiduspider會(huì)根據(jù)站點(diǎn)規(guī)模、歷網(wǎng)站每天新產(chǎn)出的鏈接數(shù)量、已抓取網(wǎng)頁(yè)的綜合質(zhì)量打分等等，來(lái)綜合計(jì)算抓取流量，同時(shí)兼顧站長(zhǎng)在抓取頻次工具里設(shè)置的、網(wǎng)站可承受的大抓取值。
　　從目前追查過(guò)的抓取流量突增的case中，原因可以分為以下幾種：

　　1、Baiduspider發(fā)現(xiàn)站內(nèi)JS代碼較多，調(diào)用大量資源針對(duì)JS代碼進(jìn)行解析抓??；
　　2、百度其他部門（如商業(yè)、圖片等）的spider在抓取，但流量沒(méi)有控制好；
　　3、已抓取的鏈接，打分不夠好，垃圾過(guò)多，導(dǎo)致spider重新抓?。?br/>　　4、站點(diǎn)被攻擊，有人仿冒百度爬蟲（見(jiàn)下文關(guān)于BaiduSpider）。

　　如果站長(zhǎng)排除了自身問(wèn)題、仿冒問(wèn)題，確認(rèn)BaiduSpider抓取流量過(guò)大的話，可以通過(guò)百度的反饋中心（http：//zhanzhang.baidu.com/feedback）反饋，注：一定要提供詳細(xì)的抓取日志截圖。

　　關(guān)于BaiduSpider

　　如何正確識(shí)別Baiduspider移動(dòng)ua

　　新版移動(dòng)ua：

　　Mozilla/5.0(Linux；u；Android4.2.2；zh-cn；)

　　AppleWebKit/534.46(KHTML，likeGecko)

　　Version/5.1MobileSafari/10600.6.3(compatible；Baiduspider/2.0；+http：//www.baidu.com/search/spider.html)

　　PCua：Mozilla/5.0(compatible；Baiduspider/2.0；+http：//www.baidu.com/search/spider.html）

　　之前通過(guò)“+http：//www.baidu.com/search/spider.html”進(jìn)行識(shí)別的網(wǎng)站請(qǐng)注意！需要修改識(shí)別方式，新的正確的識(shí)別Baiduspider移動(dòng)ua的方法如下：

　　1、通過(guò)關(guān)鍵詞“Android”或者“Mobile”來(lái)進(jìn)行識(shí)別，判斷為移動(dòng)訪問(wèn)或者抓??；
　　2、通過(guò)關(guān)鍵詞“Baiduspider/2.0”，判斷為百度爬蟲。

　　另外需要強(qiáng)調(diào)的是，對(duì)于robots封禁，如果封禁的agent是Baiduspider，會(huì)對(duì)PC和移動(dòng)同時(shí)生效。即無(wú)論是PC還是移動(dòng)Baiduspider，都不會(huì)對(duì)封禁對(duì)象進(jìn)行抓取。之所以要強(qiáng)調(diào)這一點(diǎn)，是發(fā)現(xiàn)有些代碼適配站點(diǎn)（同一個(gè)url，PCua打開的時(shí)候是PC頁(yè)，移動(dòng)ua打開的時(shí)候是移動(dòng)頁(yè)），想通過(guò)設(shè)置robots的agent封禁達(dá)到只讓移動(dòng)Baiduspider抓取的目的，但由于PC和移動(dòng)Baiduspider的agent都是Baiduspider，這種方法是非常不可取的。

　　如何識(shí)別百度蜘蛛

　　百度蜘蛛對(duì)于站長(zhǎng)來(lái)說(shuō)可謂上賓，可是也有站長(zhǎng)會(huì)發(fā)出這樣的疑問(wèn)：

　　我們?nèi)绾闻袛喁偪褡ノ覀兙W(wǎng)站內(nèi)容的蜘蛛是不是百度的？

　　其實(shí)站長(zhǎng)可以通過(guò)DNS反查IP的方式判斷某只spider是否來(lái)自百度搜索引擎。根據(jù)平臺(tái)不同驗(yàn)證方法不同，如linux/windows/os三種平臺(tái)下的驗(yàn)證方法分別如下：

　　1、在linux平臺(tái)下，可以使用hostip命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名，非*.baidu.com或*.baidu.jp即為冒充。
　　2、在windows平臺(tái)或者IBMOS/2平臺(tái)下，可以使用nslookupip命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。打開命令處理器輸入nslookupxxx.xxx.xxx.xxx（IP地址）就能解析ip，來(lái)判斷是否來(lái)自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名，非*.baidu.com或*.baidu.jp即為冒充。
　　3、在macos平臺(tái)下，您可以使用dig命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。打開命令處理器輸入digxxx.xxx.xxx.xxx（IP地址）就能解析ip，來(lái)判斷是否來(lái)自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名，非*.baidu.com或*.baidu.jp即為冒充。

　　BaiduspiderIP是多少

　　即便很多站長(zhǎng)知道了如何判斷百度蜘蛛，仍然會(huì)不斷地問(wèn)“百度蜘蛛IP是多少”。并想將百度蜘蛛所在IP加入白名單，只準(zhǔn)白名單下IP對(duì)網(wǎng)站進(jìn)行抓取，避免被采集等行為。

　　百度方面表示，不建議站長(zhǎng)這樣做。雖然百度蜘蛛的確有一個(gè)IP池，真實(shí)IP在這個(gè)IP池內(nèi)切換，但無(wú)法保證這個(gè)IP池整體不會(huì)發(fā)生變化。所以，建議站長(zhǎng)勤看日志，發(fā)現(xiàn)惡意蜘蛛后放入黑名單，以保證百度的正常抓取。

　　同時(shí)，百度方面還強(qiáng)調(diào)：通過(guò)IP來(lái)分辨百度蜘蛛的屬性是非?？尚Φ氖虑?，所謂的“沙盒蜘蛛”“降權(quán)蜘蛛”等等是從來(lái)都不存在的。

網(wǎng)站優(yōu)化

• 2020-11-11中國(guó)無(wú)線搜索量排名：百度第一谷歌跌至第四
• 2020-11-11新網(wǎng)站做了一個(gè)月SEO百度不收錄的原因在這里
• 2020-11-11如何使關(guān)鍵詞排名穩(wěn)定在百度頁(yè)
• 2020-11-11seo優(yōu)化技巧之百度圖片優(yōu)化
• 2020-11-11從營(yíng)銷產(chǎn)品到促進(jìn)就業(yè) 百度搜索營(yíng)銷釋放巨大“勢(shì)能”
• 2020-11-11佛山競(jìng)價(jià)托管公司：百度競(jìng)價(jià)推廣的變化逼著我們改變思維腦子活起來(lái)！
• 2020-11-09百度搜索調(diào)整后應(yīng)該怎么做網(wǎng)絡(luò)推廣
• 2020-11-11網(wǎng)站被鏡像，如何向百度反饋？
• 2020-11-11百度推廣網(wǎng)站制作效果不佳的專業(yè)解決方案
• 2020-11-11[官方]百度不收錄原因—spider抓取篇
• 2020-11-11從SEM四個(gè)層次說(shuō)百度權(quán)重
• 2020-11-11網(wǎng)站被百度懲罰了，該怎么做？