合作
咨詢
幫助
建站咨詢 
- 作者：admin
- 發表時間：2022-08-19 15:35:00
- 來源：
1、網站部分資源不希望被百度蜘蛛訪問該怎么做？
百度蜘蛛遵守互聯網robots協議。站長可以更新robots.txt文件，文件中明確不希望百度蜘蛛訪問資源或目錄等，并及時通過搜索資源平臺-【Robots】工具，提交robots文件。
需要注意，robots文件更新和提交后，搜索引擎需要逐漸完成更新，所以百度蜘蛛不是立即停止抓取網頁，請耐心等待。
2 、網站封禁百度蜘蛛，可能會帶來哪些影響？
網站資源優質，也沒有其他違規問題，但是存在以下情況，可以先自查是否存在封禁百度蜘蛛的問題，及時解除封禁（解除封禁參考QA7），等待恢復。
（1）沒有查詢到百度蜘蛛任何抓取記錄。
（2）在百度搜索中沒有得到收錄和展現。
（3）網站/目錄存在流量異常下降的情況。
（4）在搜索結果中的摘要展現為“存在robots封禁”字樣。
3 、如何解除封禁百度蜘蛛？
常見的封禁行為包括robots封禁、封禁百度UA、封禁百度IP這三種，可以逐一排查解決。
自查robots封禁
查看robots.txt文件，是否存在封禁記錄。（一般robots.txt文件放置在網站根目錄下。）
自查是否封禁百度UA
robots文件無異常的情況下，進一步排查是否存在封禁百度UA情況。
第一種方法：執行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'
注意：正常返回碼是200，其他情況為異常。
第二種方法：變更瀏覽器UA驗證。
自查是否存在IP封禁
以上驗證均無異常，最后進一步排查是否存在IP級別的封禁。
常見的IP封禁，源自網站的防火墻系統配置，需要查看防火墻配置系統后臺，檢查是否存在百度蜘蛛的IP級別封禁措施。
