最近有个需求,抓取微信公众号文章,调研了一下。公众号抓取现在登陆之后还需要扫码才能进的去。退而其次,研究搜狗微信抓取,发现搜狗公众号页面也改版了,看以前的帖子在搜索之后的列表页直接就可以获取到微信公众号平台的链接,现在是还要请求搜狗的链接,之后给你返一段 js 代码,拼接出微信公众号平台的链接再页面重载一下才能进的去。我用 requests session 先请求列表页保存 cookie,请求那个链接还是跳转二维码验证界面。有没有大手子给点思路啊。。
1
yangyaofei 2019-05-24 15:21:44 +08:00
究极办法,android 虚拟机
|
2
ErenJaeger OP @yangyaofei 靠,终于搞定了。。太坑爹竟然在 url 里面下毒。
|
3
yangyaofei 2019-05-24 23:13:25 +08:00 via Android
感觉…人家随机改个参数…你就要重写…直接模拟才一劳永逸……
|
4
smidayou 2019-05-25 10:53:03 +08:00
反爬机制太恶心了 现在已经基本没戏了
|
5
akaayy 2019-09-01 09:02:16 +08:00
@ErenJaeger 兄弟能不能分享一下方法啊
|