怎样爬 app 的数据?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 2855 天前的主题，其中的信息可能已经有所发展或是发生改变。

现在很多都是 app 浏览信息了想做爬虫爬 app 的数据，不知道可不可能？有啥可以参考的资料？

有的明显是 webview + 内容，那么可以抓出相应地址,然后解析 html?

11 条回复 • 2016-07-04 14:41:05 +08:00

RockyLee

2016-07-04 13:01:24 +08:00

技术上应该就是用代理抓包吧

xujialiang

2016-07-04 13:05:45 +08:00

先用抓包工具抓 Url ，然后看 url 规则，请求返回的大部分应该是 json ，解析 json 。

stcasshern

2016-07-04 13:23:33 +08:00 via iPhone

先下个 fiddle ？（好久没用）看下请求，然后看下 pc 上能否请求得到数据

stcasshern

2016-07-04 13:24:03 +08:00 via iPhone

fiddler

l0wkey

2016-07-04 13:26:17 +08:00

抓接口，模拟请求

kchum

2016-07-04 13:26:21 +08:00

masOS 上 Charles

Bown

2016-07-04 13:29:46 +08:00

随便一个抓包工具， Charles 什么的
一般的读接口都是 get 的， json 结构，直接就能拿到；写接口大部分带有 signature 类的校验参数，可以反编译 app 看看能不能找到签名算法以及 key 什么的
当然微信这种非 http 自己封装的协议就搞不定了

cqcn1991

2016-07-04 13:38:17 +08:00

@kchum
@Bown
@stcasshern

有没有啥视频教程之类的？因为很大一部分是 workflow 不熟悉。比如，抓包软件在电脑上，但是 app 在手机上，这怎么办？

justlikemaki

2016-07-04 13:59:47 +08:00

电脑装个 fiddler ，手机和电脑一个局域网内，手机连 fiddler 的代理服务就行了啊。

ixiaozhi

2016-07-04 14:01:46 +08:00

surge 抓，然后分析

kchum

2016-07-04 14:41:05 +08:00