搜索引擎不抓取頁面 服務(wù)器端的五個問題

1、錯誤的封禁

　　在百度的robots.txt的更新上，如果多次點擊“檢測并更新”就會出現(xiàn)時常可以更新，但是又時常無法更新的問題。如此一來：不應(yīng)當(dāng)被收錄的東西，在robots.txt上禁止的被收錄了，又刪除就很正常了。那么它的問題是什么呢？并非服務(wù)器負(fù)載過度，而是因為防火墻錯誤的將部分Baiduspider列入了黑名單。

　　

　　2、服務(wù)器異常

　　常規(guī)的服務(wù)器就不說了，大家都知道的，北上廣的一般都不錯。不過有一些特殊服務(wù)器，想必絕大多數(shù)的站長都不知道吧？例如西部數(shù)碼的“港臺服務(wù)器”就很有趣，真的是港臺的嗎？本身機(jī)房在國內(nèi)，還算什么港臺？為了逃避備案而用一個港臺的IP，數(shù)據(jù)全部在國內(nèi)。

　　這樣有什么不好呢？我們會發(fā)現(xiàn)：站點的服務(wù)器是經(jīng)過CDN的，哪怕是你上傳的一張圖片，都會顯示為“302狀態(tài)碼”，訪問速度是提升上去了，可是這樣利于SEO嗎？

　　3、獲取不到真實IP

　　規(guī)模較大的網(wǎng)站，一般都會使用CDN加速，但是有些站點不僅僅對“設(shè)備”使用了CDN加速，而且還對Spider使用了加速功能。后的結(jié)果是什么呢？如果CDN節(jié)點不穩(wěn)定，那么對網(wǎng)站spider來講，這個問題將是致命的。

　　很多大型站點開放CDN的原因就是容易被攻擊，這個時候如果不做“蜘蛛回源”就可想而知了。你的站點做了CDN了嗎？請登錄百度站長平臺查看一下spider是否可以抓取真實IP地址吧!

　　4、頻繁的50X類錯誤

　　這樣的鏈接其中一個共同的特點是：當(dāng)打開后，全部都是正常的，那么Spider為什么會報錯提醒呢？只是因為在爬蟲發(fā)起抓取的那一刻，httpcode返回了5XX"，你的站點是否頻繁有這樣的問題呢？有的話需要立即安排技術(shù)，或者通報IDC服務(wù)商做解決了!

　　5、錯誤的抓取比例

　　任何網(wǎng)站都做不到100%不出問題，但是萬事有一個度：我們認(rèn)為，這個比例不超過5%，對網(wǎng)站基本上是無影響的，且這樣的錯誤不應(yīng)當(dāng)每天都出現(xiàn)。常見的抓取錯誤一般都是連接超時："抓取請求連接建立后，下載頁面速度過慢，導(dǎo)致超時，可能原因服務(wù)器過載，帶寬不足"這種情況：

　　A：盡量在不影響圖片質(zhì)量的情況下，對圖片進(jìn)行壓縮，上傳的時候就進(jìn)行了壓縮。
　　B：減少如JS腳本文件類型的使用，或者進(jìn)行合并
　　C：頁面大小進(jìn)行控制，尤其是一些瀏覽量、抓取量較高的頁面，不建議超過2MB。
　　D：增加網(wǎng)站的帶寬，提升下載速度，或者更換服務(wù)器。

　　今天零度網(wǎng)絡(luò)關(guān)于網(wǎng)站收錄服務(wù)器端問題就分享到這里，更多網(wǎng)站建設(shè)、優(yōu)化等問題可咨詢零度網(wǎng)絡(luò)技術(shù)團(tuán)隊。

網(wǎng)站優(yōu)化

• 2020-11-09如何構(gòu)架Web服務(wù)器
• 2020-11-11虛擬空間與服務(wù)器有哪些區(qū)別
• 2020-11-11網(wǎng)站域名與服務(wù)器的選擇和使用
• 2020-11-11網(wǎng)站更換服務(wù)器會不會降權(quán)
• 2020-11-09建網(wǎng)站服務(wù)器怎么選擇才好呢？
• 2020-11-09告訴您怎樣挑選一個好的服務(wù)器
• 2020-11-11網(wǎng)站服務(wù)器升級需要從這些方面入手
• 2020-11-11網(wǎng)站建設(shè)之關(guān)于服務(wù)器端的5個建議
• 2020-11-11那些影響網(wǎng)站關(guān)鍵詞排名的服務(wù)器因素
• 2020-11-11如何優(yōu)化網(wǎng)站服務(wù)器提升網(wǎng)站訪問速度
• 2020-11-11服務(wù)器空間怎么選 選網(wǎng)站空間需要注意什么問題
• 2020-11-11服務(wù)器必須要具備的兩大要求