|
|
本帖最后由 qianmianyao 于 2021-10-28 16:55 编辑
虽然可以前面发了几个爬全站的脚本，但是我觉得资源在精不在多，故而打算完成一个通用的套图爬虫，适配多个站点，可以一套一套的下载，而非爬取全站
由于每个站的规则不一样，需要我来写规则，大家可以提供站
站的要求：最好是一个单页面很多图的
目前适配的站点
https://telegra.ph/
https://girlofthehour.com/
https://everia.club/
有想要的站可以评论提交
本地网络有点问题，明天推送到github
站点可以在帖子里提交或者github的issues
python 开发，支持异步下载
github：https://github.com/qianmianyao/SimpleCrawler/issues |
|
发表于 2021-10-28 16:41:21
，目前市面的都不太好用。