分享下：豆瓣电影、百度网盘的采集思路和源码

986285227 · 发表于 2016-10-18 15:08:19

豆瓣我爬了5w+数据，数据得定时更新一下

cdwyd · 发表于 2016-10-19 20:06:17

986285227 发表于 2016-10-18 15:08
豆瓣我爬了5w+数据，数据得定时更新一下

电影有十几万，书有300多万呢

986285227 · 发表于 2016-10-21 19:10:37

cdwyd 发表于 2016-10-19 20:06
电影有十几万，书有300多万呢

去重了吗，我是按标签爬的

cdwyd · 发表于 2016-10-21 21:04:41

986285227 发表于 2016-10-21 19:10
去重了吗，我是按标签爬的

去重了这些也不全。按标签也有好处都是比较热门的，遍历抓取来的有很多冷门的，尤其是书，很多都是根本就没有人关注的书。我专门筛选了一下有评论的书就十几万

左手写爱 · 发表于 2016-10-22 09:16:26

知乎有人分享过了

		自动登录	找回密码
密码			注册