MJJ论坛

 找回密码
 注册
查看: 848|回复: 7

[美国VPS] 百度蜘蛛抓取 200/HEAD 是什么意思

[复制链接]
发表于 2022-8-31 22:34:45 | 显示全部楼层 |阅读模式
107.151.200.185        0 B        91ms        /        200/HEAD       
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)
 楼主| 发表于 2022-9-1 13:06:43 | 显示全部楼层
额没人知道吗~~
发表于 2022-9-1 13:08:24 | 显示全部楼层
这是百度的蜘蛛吗?
发表于 2022-9-1 13:10:55 | 显示全部楼层
这个不是蜘蛛吧
发表于 2022-9-1 13:22:36 | 显示全部楼层
这怎么看都不是 蜘蛛啊.
发表于 2022-9-1 13:38:05 | 显示全部楼层
这不是蜘蛛,就是一个HEAD检测,我最近也在做head检测,主要是看资源存不存在,看head状态和content-length大小
发表于 2022-9-1 13:42:55 | 显示全部楼层
这是 各大检测平台 用的蜘蛛 ua 。 一般 head 就是 检测是否 正常的。。  第三方的 http 检测平台会用到。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|MJJ论坛

Copyright MJJ论坛 © 2022 All Rights Reserved.

快速回复 返回顶部 返回列表