无意间发现一个网站 七麦数据
咦~这数据好像还蛮有意思的,尝试爬取一波。
这也太简单了吧,不就是 XHR 加载的嘛,数据都给我装好了 https://api.qimai.cn/rank/indexPlus/brand_id/2?analysis=dDB4Fi8wUEF1J2VAfndkQy8II0YHIn8WUT1xCVAEVlp5Rx4TAwpcGlENVFFLY11MEkoHRwQLVTxZARxUchVSBgpdBlFUUQEMDiMTBQ%3D%3D&brand=all&country=cn&device=iphone&genre=36&date=2018-05-05&page=1
有个参数 analysis,这么大一串,怕是有问题,多请求几次,,果然,这个参数在变化,而且前面的链接也失效了 Q_Q..
好吧,定位到这个文件夹 static.qimai.cn/static/js/app.5aed8c28e91d77a9f578.js ,,无奈 js 是个渣渣。。
想问下这种网页的话,除了 selenium 和分析 js,还有没有什么方法?分析 js 的话,有没有什么小技巧?
跪等大神分享
1
des 2018-05-05 20:38:55 +08:00 via Android
还是上 selenium 吧
|
3
des 2018-05-05 20:46:57 +08:00 via Android
@smallQ 之前做煎蛋的反加密,是把 js 下载下来,然后调用关键解密函数,手工分析加密太麻烦,而且指不定什么时候又改了
|
4
locoz 2018-05-05 20:47:34 +08:00 via Android
分析不了就 selenium 之类的吧
|
6
lxy 2018-05-06 00:05:43 +08:00
可以请教一下你的前端同事,这种分析对他们来说应该不难
|
7
xiaobai987 2018-05-07 08:56:31 +08:00
你还别说 这网页挺复杂的 有时间分析下
|
8
helloiac 2018-05-07 10:33:53 +08:00
无非是 js 中有个函数生成了一个加了时间戳的密钥,然后过几分钟失效,把 js 格式化一下找找,应该不难定位函数。
|
9
yixiugegegege 2018-09-17 17:48:46 +08:00
问一下 我连 analysis 参数都搜不到了,请问下怎么搜到这个参数名呢
|
10
smallQ OP @yixiugegegege 全局搜索,ctrl+shift+f
|
11
smallQ OP @yixiugegegege 好久没碰了,不知道页面改版没,,感兴趣你可以试下
|
12
yixiugegegege 2018-09-18 09:27:11 +08:00
全局搜不到, 是不是采用什么编码方式加密了, 望指点, 试了 16 位编码 ,没找到
|
13
yixiugegegege 2018-09-18 11:16:36 +08:00
已经搞定
|
14
smallQ OP @yixiugegegege 好像页面改版了,应该是换关键字了,,,
|
15
smallQ OP @yixiugegegege 怎么弄的?
|
16
wangjinhui 2019-09-08 22:16:25 +08:00 via Android
你好,请问解决了吗,能否指点一下
|