设为首页
收藏本站
切换到宽版
用户名
Email
自动登录
找回密码
密码
登录
注册
快捷导航
论坛
BBS
排行榜
Ranklist
搜索
搜索
热搜:
香港vps
香港VPS
amh
机柜
vps
分销
VPS
域名出售
火车头
云主机
不限流量
香港服务器
美国服务器
香港
全能空间
whmcs
digitalocean
本版
帖子
用户
MJJ论坛
»
论坛
›
主机综合交流
›
美国VPS综合讨论
›
最近大家讨论网站的比较多 我有个疑问
返回列表
查看:
1506
|
回复:
4
最近大家讨论网站的比较多 我有个疑问
[复制链接]
站着噜
站着噜
当前离线
积分
1307
发表于 2012-11-9 10:19:03
|
显示全部楼层
|
阅读模式
怎么屏蔽蜘蛛~nginx 用过map 也判断过头部标识 返回444 但是每天还是一堆蜘蛛来爬 而且返回的是200....
求破~~~~~~~~~~~~~~别说robots 这东西好像没几个遵守的...
网站
,
疑问
相关帖子
•
一招搞定服务器在国外,国内视频访问不了的难题
•
常见网络攻击手段原理分析
•
一般cdn是怎么判断那个网站被D的?
•
TLD Registrar Solutions这家注册商煮米的入口在哪里啊
•
谢谢各位,虽然问题未解决,侵权网站,求大佬支招。
•
发现骗子网站一枚 请大神支招干一番
•
在国内买域名会不会有坑,对比万网和Namesilo
•
vultr小J安装锐速后遇奇怪问题
•
坛子里吊大的多,求个免费发短信的网站要国外的!
•
网站克隆/那个软件好用
回复
举报
网警
网警
当前离线
积分
973
发表于 2012-11-9 10:23:19
|
显示全部楼层
robots.txt
回复
支持
反对
举报
jjiabinb
jjiabinb
当前离线
积分
3225
发表于 2012-11-9 10:24:40
|
显示全部楼层
DNSPOD,
蜘蛛,单独解析到空ip
回复
支持
反对
举报
topl
topl
当前离线
积分
3504
发表于 2012-11-9 12:40:40
|
显示全部楼层
爬一下又不会要你的命。
回复
支持
反对
举报
单手摘月
单手摘月
当前离线
积分
12266
发表于 2012-11-9 12:47:16
来自手机
|
显示全部楼层
提示:
作者被禁止或删除 内容自动屏蔽
回复
支持
反对
举报
返回列表
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
注册
本版积分规则
发表回复
回帖后跳转到最后一页
Archiver
|
手机版
|
小黑屋
|
MJJ论坛
Copyright
MJJ论坛
© 2022 All Rights Reserved.
快速回复
返回顶部
返回列表