查看网站日志，发现有一个爬虫MJ12bot在高频率地爬取我的网站，耗费了网站大量的资源，webym.net就曾中过招，那么MJ12bot到底是什么蜘蛛，我们又该如何屏蔽它呢？
MJ12bot是什么蜘蛛
MJ12bot是英国的一家老牌的搜索引擎营销网站Majestic的爬虫，他有专门的中文站，对外链查询等很多SEO数据查询提供数据支撑，做过外链的都知道，获取外链资源是一项基本能力，这个网站可以查询网站的外链资源数。MJ12bot是Majestic-12分布式搜索引擎的爬虫。
中文网站是：zh.majestic.com
我们如何屏蔽MJ12bot蜘蛛
MJ12bot遵循robots.txt标准，如果需要屏蔽他，直接在 robots.txt 添加以下代码;
User-agent: MJ12bot Disallow: /
声明:如需转载，请注明来源于www.webym.net并保留原文链接：http://www.webym.net/jiaocheng/1114.html
