MJJ论坛

 找回密码
 注册
查看: 633|回复: 5

[疑问] 如何防止360蜘蛛的过度抓取?

[复制链接]
发表于 2025-5-28 22:43:06 | 显示全部楼层 |阅读模式
360蜘蛛好几次过度抓取,将CPU干到90了,导致网页都打不开。但是又不想完全BAN了它,好歹也能带一丁点流量。
发表于 2025-5-28 23:09:53 | 显示全部楼层
问gpt让它给你写一个标准的robots,延迟抓取规则

但是360这种流氓遵不遵守就不知道了
 楼主| 发表于 2025-5-28 23:31:22 | 显示全部楼层
toot 发表于 2025-5-28 23:09
问gpt让它给你写一个标准的robots,延迟抓取规则

但是360这种流氓遵不遵守就不知道了 ...

问题是它不支持Crawl-delay。。。。。。。
发表于 2025-5-28 23:53:27 | 显示全部楼层
去360站长平台看看能不能限制频率
发表于 2025-5-29 00:33:25 | 显示全部楼层
360蜘蛛有点傻了吧唧的,有时候莫名其妙一个时间段一瞬间几千抓取
发表于 2025-5-29 10:20:54 | 显示全部楼层
360是训练ai用的 每天抓取我好几万文章 有次我用so搜索的时候  前排的ai推荐竟然和我网站内容一模一样的  还有我网站地址
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|MJJ论坛

Copyright MJJ论坛 © 2022 All Rights Reserved.

快速回复 返回顶部 返回列表