V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
WinG
V2EX  ›  问与答

Selenium 怎么异步抓数据?

  •  
  •   WinG · Mar 20, 2020 · 1108 views
    This topic created in 2239 days ago, the information mentioned may be changed or developed.
    假设页面 A,

    此时我要对页面 A 做 B-C-D 操作,此时页面 A 的数据不停变化,

    在我不暂停 B-C-D 操作的情况下,怎么保持持续去抓取页面 A 变化的数据?

    在搜寻器搜了一大轮,没找到答案,请大神指教,感激。
    3 replies    2020-03-21 09:25:11 +08:00
    WinG
        1
    WinG  
    OP
       Mar 20, 2020
    自己小推一下。没人帮助 :(
    gou7ma7
        2
    gou7ma7  
       Mar 21, 2020 via Android
    首先用单例起一个 webdriver,然后开启很多个标签页,用 queue 维护一个标签页池,然后用一个上面说到的单例锁。之后每次都是从池子里面去标签页对象处理,和页面交互的时候锁上。
    WinG
        3
    WinG  
    OP
       Mar 21, 2020
    @gou7ma7 谢谢回复,没看懂,我的页面 A 极度耗资源,只能打开一个,怎么办?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1282 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 17:20 · PVG 01:20 · LAX 10:20 · JFK 13:20
    ♥ Do have faith in what you're doing.