就在今天2017年3月24日,百度站长平台官方公布了Baiduspider-render/2.0,也就是百度Spider渲染抓取蜘蛛UA,先来看看官方公告:
为了给搜索用户更好的体验、对站点实现更好地索引和呈现，百度搜索需要访问网站的CSS、Javascript和图片信息，以便更精准地理解页面内容，实现搜索结果最优排名，百度搜索会全面启用最新UA来访问站点的上述资源。从昨天开始，百度搜索抽取了部分优质站点进行抓取内测，可能会对站点服务器造成一定压力影响，请尽量不要对UA进行封禁，以免造成不可逆转的损失。
最新UA如下：
PC：Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
移动：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
今天中午,百度站长论坛还在猜测这个蜘蛛是干什么的,ip地址是 111.206.221.22,经过nslookup命令查看确实是百度蜘蛛 baiduspider-111-206-221-22.crawl.baidu.com .
傍晚时候百度就发布了公告,久久博客今日也喜获百度渲染蜘蛛光临!
官方公告地址: http://zhanzhang.baidu.com/wiki/990
可以看出百度越来越重视用户体验了,前一段时间公布的新广告法在站长届引起轩然大波,久久博客www.99xq.cn就猜测针对此广告法会有相应的考核方案出台,只是没想到这么快就来了,大家要重视起来哦.
我的站也是这个一直在抓取，不知道怎么回事
有人问渲染是什么意思,其实就是百度能读懂你的css,js了,执行代码,和普通用户看到的就是一样的了.
以往蜘蛛只是单纯的读内容代码并过滤,抽出有用的信息,现在不是了.
111.206.221 我是被这个蜘蛛害惨了，一直爬去我某个页面，但是我FTP里找不到这个页面，提示是无限404，我用robots都不管用
希望哪位大哥能给我解释下。
一定是外部放出了这个地址.可能是竞争对手干的.或者你网站里不小心露出了.
这个要用百度站长工具的死链工具看看死链前链是什么.
对你爱爱爱不完,我可以天天月月年年看你博客到永远!
从百度进来的，博客不错哦！
感谢博主分享,终于搞清楚这个问题了,差点给封禁了。
学习使人进步，到此拜读！