闲鱼app数据实时采集探索实验

前言

本文章分享一下最近研究闲鱼app商品数据采集。

技术栈PythonFridaJADXObjectionAndroid Studio思路使用Android Studio创建x86模拟器并运行，安装闲鱼和frida使用Objection hook URL类，打印调用栈分析出关键函数使用JADX打开APK分析关键函数的参数使用firda构造参数调用关键函数python获取来自frida脚本的回调写入es数据库，按照小时分片暴露接口实现任意关键词的实时查询效果

可以看出闲鱼每秒大概有30-40条新数据产生，我们的请求速度为每5s一次，刷新速度甚至低于人工操作app时候的频率，不会对服务器造成任何影响，我们把他们写入我们自己的数据库，便可以实现实时分析。

总结通过这次实验，我学会了使用frida去获取app的数据，不需要破坏app本身的任何东西，也不需要进行http抓包，直接hook函数即可实现，非常友好从技术角度讲，这样的思路可以搞定一切app。