BaiduSpider官方微博:正确设置404页面

BaiduSpider昨日在官方微博称：“近期抓取中个别大站出现了奇怪的异常，追查发现了一些有意思的现象。背景：spider抓取针对不同的返回码会做出不同的响应策略（这里后续会连载比较详细的处理说明），404的返回含义则被认为是页面不存在，对应的url在相当长的时间内spider都不会去抓取。”

在随后，又进行了详细补充：

“这样如下情况返回404就不是那么合适了：1 因为 spider瞬时的压力过大而对抓取返回404， 2. 未建设好的url直接返回404（之前通过sitemap推送，关于sitemap请移步站长平台去查看相关资料）， 3. 因审核问题暂时没有开放权限的页面。具体如何更好的设置http返回码，敬请期待连载！”