長沙百度優化指南之如何正取看待百度蜘蛛爬行抓取網站內容
- 作者:admin
- 發表時間:2022-08-19 15:31:00
- 來源:
百度蜘蛛會一直抓我的網站嗎?
一般會的,若網站持續生產新資源、更新內容等,蜘蛛會持續抓取的。需要提醒的是,若網站需要百度蜘蛛抓取一定不要做任何封禁哦。(封禁相關參考下文內容)
此外,您也可以檢查網站訪問日志,及時判斷正確的百度蜘蛛,以防止有人惡意冒充百度蜘蛛來頻繁抓取您的網站。
百度蜘蛛頻繁光顧網站,導致網站服務器壓力大,怎么辦?
若發現百度蜘蛛頻繁抓取,可能是因為以下2個原因。
(1)網站存在新生產資源、更新內容待抓取更新;
(2) 可能存在惡意冒充百度蜘蛛,可以通過上文Q2“如何識別正常百度蜘蛛”的方法排查問題;
若百度蜘蛛抓取頻次過高,造成網站服務異常,可以通過百度搜索資源平臺-【抓取頻次】工具調整頻次。