屏蔽百毒爬虫百毒还是一堆搜索结果怎么办

naohion · 发表于 2021-5-6 12:00:40

提示: 作者被禁止或删除内容自动屏蔽

naohion · 发表于 2021-5-6 12:10:08

提示: 作者被禁止或删除内容自动屏蔽

naohion · 发表于 2021-5-6 12:27:38

提示: 作者被禁止或删除内容自动屏蔽

leven5 · 发表于 2021-5-6 12:33:15

robots.txt也不行吗

naohion · 发表于 2021-5-6 12:36:30

提示: 作者被禁止或删除内容自动屏蔽

naohion · 发表于 2021-5-6 12:46:28

提示: 作者被禁止或删除内容自动屏蔽

naohion · 发表于 2021-5-6 13:38:29

提示: 作者被禁止或删除内容自动屏蔽

cheshirex · 发表于 2021-5-6 14:15:56

naohion 发表于 2021-5-6 12:36
最早就是用淘宝https://www.taobao.com/robots.txt的那个

User-agent: Baiduspider

索引要等段时间才更新的。

txjcv · 发表于 2021-5-6 14:19:45

是不是大姐姐网站，然后自己私有享用被爬了

naohion · 发表于 2021-5-6 14:43:33

提示: 作者被禁止或删除内容自动屏蔽

		自动登录	找回密码
密码			注册

naohion naohion 当前离线积分 513	发表于 2021-5-6 12:00:40 来自手机 \| 显示全部楼层 \|阅读模式提示: 作者被禁止或删除内容自动屏蔽
naohion naohion 当前离线积分 513
	回复举报

naohion naohion 当前离线积分 513	楼主\| 发表于 2021-5-6 12:10:08 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
naohion naohion 当前离线积分 513
	回复举报

naohion naohion 当前离线积分 513	楼主\| 发表于 2021-5-6 12:27:38 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
naohion naohion 当前离线积分 513
	回复举报

naohion naohion 当前离线积分 513	楼主\| 发表于 2021-5-6 12:36:30 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
naohion naohion 当前离线积分 513
	回复支持反对举报

naohion naohion 当前离线积分 513	楼主\| 发表于 2021-5-6 12:46:28 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
naohion naohion 当前离线积分 513
	回复举报

naohion naohion 当前离线积分 513	楼主\| 发表于 2021-5-6 13:38:29 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
naohion naohion 当前离线积分 513
	回复举报

naohion naohion 当前离线积分 513	楼主\| 发表于 2021-5-6 14:43:33 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
naohion naohion 当前离线积分 513
	回复支持反对举报