首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
V2EX  ›  分享创造

看到很多人在写 APP 爬虫的时候一脸茫然,于是我就写了篇介绍常用工具的文章(知乎直链)

  locoz · 175 天前 · 4427 次点击
这是一个创建于 175 天前的主题,其中的信息可能已经有所发展或是发生改变。
传送门: https://zhuanlan.zhihu.com/p/63899519

历史文章:
当你写爬虫时遇上 Flash+加密的解决方式 https://zhuanlan.zhihu.com/p/45508079
当你写爬虫抓不到 APP 请求包的时候该怎么办?[初级篇] https://zhuanlan.zhihu.com/p/46433599
当你写爬虫抓不到 APP 请求包的时候该怎么办?[中级篇] https://zhuanlan.zhihu.com/p/56397466
听说这个爬虫面试题很难?看完你就知道怎么做了 https://zhuanlan.zhihu.com/p/59005948
当你写爬虫抓不到 APP 请求包的时候该怎么办?[高级篇-混淆导致通用 Hook 工具失效] https://zhuanlan.zhihu.com/p/63028507

欢迎关注知乎专栏《手把手教你写爬虫》: https://zhuanlan.zhihu.com/webspider
34 回复  |  直到 2019-05-07 17:26:25 +08:00
    1
ml1344677   175 天前   ♥ 1
都是干货
    2
leesymbol   175 天前   ♥ 1
厉害了 谢谢
    3
caqiko   175 天前 via Android   ♥ 1
滋磁一个
    4
dabaibai   175 天前   ♥ 1
马克一下
    5
coolloves   175 天前   ♥ 1
马克一波
    6
zdnyp   175 天前
又是你!!!赶紧去看看,前几篇都实践了:)
    7
jb2   175 天前
大佬,如果 response 的内容被加密了,怎么破?
    8
locoz   175 天前
@zdnyp #6 hhhhhhh 能帮到你就好
    9
locoz   175 天前
@jb2 #7 亲亲,这边建议您反编译呢
    10
zdnyp   175 天前
@locoz 没开混淆的 apk 安装不了呀...夜神模拟器,安卓 5.x,Xposed+JustTrustMe
    11
jb2   175 天前
@locoz 反编译就要折腾啦,爬个数据而已,不容易啊
    12
locoz   175 天前
@zdnyp #10 奇怪了,我 minSdkVersion 设的是 21 啊 安装不了的提示是啥呢?
    13
locoz   175 天前
@jb2 #11 那你不想折腾就只能从视图层拿数据了,用群控的手段去做爬虫,但是效率非常低
    14
zdnyp   175 天前
@locoz 安装应用程序失败,没有错误码啥的
    15
zdnyp   175 天前
    16
yuthelloworld   175 天前 via Android   ♥ 1
关注了
    17
locoz   175 天前
@zdnyp #15 看不到图,可能是要你的账号才能看,我这打开就一个 JUser token must be authenticated 的提示
    18
Youle   175 天前   ♥ 1
maki 一波
    19
zdnyp   175 天前
@locoz sor,解析失败,找不到证书
    20
locoz   175 天前   ♥ 1
@zdnyp #19 我重新编译了一下,你试试新的 APK,可能是签名版本的问题
    21
zdnyp   175 天前
@locoz 这个可以了,开始盘~
    22
locoz   175 天前
@zdnyp #21 OK
    23
v2yehen   175 天前   ♥ 1
插一个真眼
    24
zdb1115   175 天前   ♥ 1
谢谢分享
    25
fff333   175 天前 via Android   ♥ 1
重点关注下
    26
HFX3389   175 天前
我很难受....怎么感觉楼主的名字在哪见过.....手动狗头
    27
locoz   174 天前 via Android
@HFX3389 #26 哈哈哈哈哈哈在你那个贴子里回复过你
    28
xxoxx   174 天前   ♥ 1
收藏了,内容不错,值得学习
    29
yorksol   174 天前   ♥ 1
马克一下
    30
wshcdr   173 天前   ♥ 1
看看是啥情况
    31
chen185102   172 天前
口袋 48 这个 APP,开了 Justtrustme+低版本安卓依然捕获不到部分 https 请求,脱了壳看了下也没有混淆 CertificatePinner,能帮忙看看吗
    32
locoz   171 天前
@chen185102 #31 有空帮你看看,部分是指哪部分?
    33
chen185102   170 天前
@locoz 登陆啊签到啊什么的,其实应该说这个应用大部分的请求都抓不到
    34
w4mxl   166 天前
刚传送到知乎,又被传送到 GitHub,🛫️ ; )
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1294 人在线   最高记录 5043   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 24ms · UTC 23:49 · PVG 07:49 · LAX 16:49 · JFK 19:49
♥ Do have faith in what you're doing.