|
|
@eqblog大神的脚本大盘鸡用起来美滋滋，但是广大mjj都是几十G的小盘鸡，怎么办呢？简单，使用rcloned挂载5T版的onedrive即可。
挂载之后你会发现在onedrive挂载盘直接运行spider.py是不行滴，会报错，估计创建文件和rcloned的同步线程冲突了。
解决办法是修改带码，使用本地磁盘做缓存。。。缓存之后把文件路径添加到队列里，多线程mv到OneDrive即可，这样做的好处一是可以破OneDrive的限速（10线程200Mbps左右上传），而是不需要大盘鸡，稍好一点的小时计费vps即可。当然同时你还要处理因为centos中出现的mv用多了内存不会回收的问题，py进程cpu/内存占用率过高导致的被系统oom killed问题。。解决之后就可以美滋滋地下载了
 又机智地水了一帖
|
|
发表于 2018-3-14 17:36:56
楼主