首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX 提问指南
广告
V2EX
›
问与答
MJ12bot 这个 bot 是干嘛的= =
bitkwan
·
2016-02-16 20:26:34 +08:00
· 1311 次点击
这是一个创建于 3163 天前的主题,其中的信息可能已经有所发展或是发生改变。
151.80.41.169 - - [15/Feb/2016:13:12:14 +0800] "GET /robots.txt HTTP/1.0" 200 257 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5;
http://www.majestic12.co.uk/bot.php?+)"
; -
一天同一个页面爬好几次。
google 上只找到说是 万维网搜索引擎研究项目
mj12bot
万维网
151.80.41.169
v1.4.5
1 条回复
•
2016-02-16 20:40:38 +08:00
1
zxgngl
2016-02-16 20:40:38 +08:00
http://www.majestic12.co.uk/projects/dsearch/mj12bot.php
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
5780 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 30ms ·
UTC 06:19
·
PVG 14:19
·
LAX 23:19
·
JFK 02:19
Developed with
CodeLauncher
♥ Do have faith in what you're doing.