现在的位置: 网页制作教程网站优化 >正文
seo教程

MJ12bot是什么蜘蛛,我们如何屏蔽它

发表于2020/10/16 网站优化 0条评论 ⁄ 热度 207℃

查看网站日志,发现有一个爬虫MJ12bot在高频率地爬取我的网站,耗费了网站大量的资源,webym.net就曾中过招,那么MJ12bot到底是什么蜘蛛,我们又该如何屏蔽它呢?

MJ12bot是什么蜘蛛

MJ12bot是英国的一家老牌的搜索引擎营销网站Majestic的爬虫,他有专门的中文站,对外链查询等很多SEO数据查询提供数据支撑,做过外链的都知道,获取外链资源是一项基本能力,这个网站可以查询网站的外链资源数。MJ12bot是Majestic-12分布式搜索引擎的爬虫。

中文网站是:zh.majestic.com

爬虫蜘蛛

我们如何屏蔽MJ12bot蜘蛛

MJ12bot遵循robots.txt标准,如果需要屏蔽他,直接在 robots.txt 添加以下代码;

User-agent: MJ12bot
Disallow: /
【上篇】已经是最后一篇教程
【下篇】
  • 暂无评论