V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
black11black
V2EX  ›  问与答

Python 线程池有办法自动释放不在使用中的资源吗?

  •  
  •   black11black · 2020-12-27 16:37:51 +08:00 · 1160 次点击
    这是一个创建于 1432 天前的主题,其中的信息可能已经有所发展或是发生改变。
    # 一个简单的 demo
    def some_func(arg):
        # does some heavy lifting
        # outputs some results
        time.sleep(10)
        return 0
    
    from concurrent.futures import ThreadPoolExecutor
    import time
    
    with ThreadPoolExecutor(max_workers = 1024) as executor:
        for arg in range(10000):
            future = executor.submit(some_func, arg)
        print(len(executor._threads))
    

    简单做了下压力测试,发现 windows 系统上的 python 线程并发负载还可以,一两千个线程还是能 handle 的。

    但是发现了一个蛋疼的问题,比如如果你要提高负载能力,比如你想要让程序能同时负载 1000 个并发连接。那么线程池在触发并完成线程后,并不会自动释放资源。我原以为线程池有一些机制在,比如一小时闲置的话就会自动摧毁占用的线程,现在看来似乎不是这样的,一旦申请以后线程就一直在这里了。

    有什么办法做改进吗?这些线程即使不用也在这里趴着,一方面吃内存,另一方面系统允许的最大线程数又是有限的,被大量占用。

    第 1 条附言  ·  2020-12-27 21:20:19 +08:00

    贴条,讨论转移到 https://www.v2ex.com/t/739455

    4 条回复    2020-12-27 19:27:19 +08:00
    wellsc
        1
    wellsc  
       2020-12-27 16:39:45 +08:00
    gil 的语言就别整天折腾多线程了,io 密集上协程,计算密集换技术栈
    black11black
        2
    black11black  
    OP
       2020-12-27 16:50:16 +08:00
    @wellsc 这次折腾多线程的原因是,在用多线程封装一个同步 oracle 库,让他能在协程中使用。我肯定没时间再仔细用协程实现一个通讯协议,直接用多线程封装同步库是个很好的办法。只不过似乎并发能力和内存 /线程数似乎无法平衡。
    black11black
        3
    black11black  
    OP
       2020-12-27 16:53:05 +08:00
    @black11black 同步执行一千条插入命令(比如业务上让他们没法被整合到同一条插入命令),这种需求我觉得还是挺常见的。但是如果要实现的话就要开 1000 个线程准备着,这也太蠢了,没办法用的时候现场申请吗。
    delectate
        4
    delectate  
       2020-12-27 19:27:19 +08:00
    协程,或者多进程。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1090 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 22:30 · PVG 06:30 · LAX 14:30 · JFK 17:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.