MJJ论坛

 找回密码
 注册
查看: 844|回复: 4

[疑问] 最近看了看网站监控报表发现出现大量502错误

[复制链接]
发表于 2022-8-11 17:47:23 | 显示全部楼层 |阅读模式
仔细分析了下,发现是一个爬虫不定时大量爬我的网站导致的,间歇性的502导致网站有时候访问不了


爬虫访问一次就换一次ip,幸好ua没有变动,还能屏蔽,我发出来看mjj有没有遇到过

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.41 Safari/537.36 Edg/101.0.1210.32

 楼主| 发表于 2022-8-12 17:07:59 | 显示全部楼层
百度了下Chrome/101.0.4951.41 Safari/537.36 Edg/101.0.1210.32,发现很多爬虫教程用的这个ua - -,我去,
发表于 2022-8-12 17:21:14 | 显示全部楼层
这样屏蔽这个UA没有任何意义啊。
随便更换
发表于 2022-8-12 17:33:42 | 显示全部楼层
啥网站被采集发来看看
发表于 2022-8-12 20:17:03 | 显示全部楼层
什么监控?

PS上杜甫。。。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|MJJ论坛

Copyright MJJ论坛 © 2022 All Rights Reserved.

快速回复 返回顶部 返回列表