现在的位置: 网页制作教程网站制作经验 >正文
seo教程

没有爬行入口是如何被百度蜘蛛抓取的

发表于2017/1/17 网站制作经验 0条评论 ⁄ 热度 2,248℃

查看网站的日志,发现百度蜘蛛爬行了很多站内没有直接入口的地址。最多的是网站搜索结果页面,爬行的关键词很多,也没有规律。

这些被爬行的页面没有站内入口、没有锚文本外链、没有网站地图、没有主动提交网址给百度的情况下,仍然能让蜘蛛抓取,而有些已经被收录了。

难道百度蜘蛛已经智能到这种程度,可以自动匹配关键词做站内查询。

后来研究日志发现,被蜘蛛爬行这些关键词查询结果页面,很多是有用户主动搜索过的,有的是几天前的,也有十几天前的。

觉得百度可以记录这些用户行为,有可能是用户用的是百度浏览器,也有可能是我网站上百度产品。

百度统计实时推送网页

继续研究日志后,可以排除客户端因素,应该是和我网站安装的百度统计有关。

进一步确认后,百度统计升级后,添加了一个功能:百度统计实时推送网页至搜索引擎功能,提升网页抓取速度!

这就解释了没有爬行入口,百度蜘蛛也能爬行抓取的问题了。

  • 暂无评论