有人能搞出這樣子的源碼嗎？

cnweb · 发表于 2010-11-30 23:49:14

做這個玩意
沒有點美元或人民幣是不可能的撒

liheyuan · 发表于 2010-12-1 00:15:07

爬这么多有啥用么。。我一直就很不解。。垃圾站的意义是什么？除了赚点钱。。
你搞几个机器在你本地爬，一周能爬好几十T的。

drivel · 发表于 2010-12-1 01:04:21

对于中文网页，要正确的读出 encode 的方式

可以从网页头部，HTTP header 读出，然后 decode 一下

drivel · 发表于 2010-12-1 01:10:26

另外，这样做最大的问题在于截图如何经济有效的存贮和调用

毕竟是文件，不能使用现成的一些 Map/Reduce 或者 NoSQL 之类的数据模型

狒狒 · 发表于 2010-12-1 07:01:04

提示: 作者被禁止或删除内容自动屏蔽

狒狒 · 发表于 2010-12-1 07:05:22

提示: 作者被禁止或删除内容自动屏蔽

moto72 · 发表于 2010-12-1 07:15:59

nutch 开源的

qqpcc · 发表于 2010-12-1 08:53:02

一个很不错的想法，但你可能得为些付出一辈子的努力。
因为你的想法……，可能不是一个人的财力、精力……能完成的。

		自动登录	找回密码
密码			注册

狒狒狒狒当前离线积分 1720	发表于 2010-12-1 07:01:04 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
狒狒狒狒当前离线积分 1720
	回复支持反对举报

狒狒狒狒当前离线积分 1720	发表于 2010-12-1 07:05:22 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
狒狒狒狒当前离线积分 1720
	回复支持反对举报