通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀

商务布丁

可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。

在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。