网站日志出现大量这个网址 http://mj12bot.com/
这个网址是系统自带的吗
应该不是系统的 没遇到过
这是一个爬虫系统,可以通过robots.txt设置禁用掉。
User-agent: MJ12bot Disallow: /
QQ扫一扫联系
点击联系
2374926113
微信扫一扫联系
应该不是系统的 没遇到过
这是一个爬虫系统,可以通过robots.txt设置禁用掉。