[笔记] APP爬虫采集方案思路

odmin

APP爬虫和网页爬虫都是属于一种类型,APP的数据接口需要抓包解析，基本上都会采用HTTPS发送数据，和网页爬虫基本上不一样。

如何抓包：

使用Fiddler抓包工具，用Fiddler对APP应用软件进行抓包。需要证书认证和使用全局代理发送HTTPS协议传送数据，才可以抓包。
APP数据采集常见方案：抓包、HOOK技术
抓包：大多数APP软件，都是公开数据，没有任何隐私。只需要通过webservice通讯协议的方式，对APP接口分析检测，模拟用户向APP发出POST或者GET请求，就能返回相关数据。
HOOK技术：可以通过修改HOOK内核，自动控制APP，获取APP数据。
APP数据分析：
APP数据都可以采集，通过抓包工具抓包，获取app源码，就要对app进行反编译，进行证书认证发出HTTPS加密协议即可。
APP逆向环境配置：
Apktool：获取资源文件和smail代码
dex2jar：将dex文件转换成ja**件
JD-GUI：查看到反编译后的dex的代码

获取app源码，就要对app进行反编译，解析使用工具采集数据