V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
llillill
V2EX  ›  问与答

求问 Python 里有没有像 Android WebView 里类似 shouldInterceptRequest 的库 可以拦截一个 request url 里所有 url 请求

  •  
  •   llillill · 2019-12-06 23:52:47 +08:00 · 1463 次点击
    这是一个创建于 1813 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想爬点儿东西
    浏览器里访问某一个 url
    通过 chrome devtools 里发现了想要的那个请求
    想获取这个请求的地址和 headers

    python 里有没有现成的库可以做到的
    类似 Android 里 WebView 的 shouldInterceptRequest 方法 可以拦截资源请求

    2 条回复    2019-12-07 00:41:40 +08:00
    ClericPy
        1
    ClericPy  
       2019-12-07 00:08:19 +08:00
    安卓不知道, 你说的拦截, 要用 chrome 点开吗, 可以了解下 chrome 的 cdp 那套协议(说白了就是 remote debug by devtools), 拦截流量, 控制浏览器什么的都可以做到, 会点 http 和 WebSocket 的知识就能打通了, 实现过相关的库, 但是不优雅就不推荐给你了

    或者直接无脑走 MITMproxy 那套, 不但能拦, 还能改呢(cdp 也可以...)
    llillill
        2
    llillill  
    OP
       2019-12-07 00:41:40 +08:00
    @ClericPy 希望是不用点开 chrome
    搜了下 mitmproxy 似乎能满足我的需求 我去试试 多谢大佬~
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   943 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 22:09 · PVG 06:09 · LAX 14:09 · JFK 17:09
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.