V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
zckun
V2EX  ›  Python

Python multiprocessing ValueError

  •  
  •   zckun · 2020-06-28 14:47:26 +08:00 · 2917 次点击
    这是一个创建于 1644 天前的主题,其中的信息可能已经有所发展或是发生改变。

    机器配置: Windows 10 企业版 64 位 Intel(R) Xeon(R) Platinum 8173M 内核:56 逻辑处理器:112

    用 python multiprocessing 中的进程池会出现 ValueError: need at most 63 handles, got a sequence of length 114

    这是 windows 才会有的异常么,很少用 windows,也第一次用这种 U,google 也找不到什么答案

    3 条回复    2020-06-28 21:36:23 +08:00
    UN2758
        1
    UN2758  
       2020-06-28 17:13:34 +08:00
    可能和 numa 有关?win10 设计是 64 个核心一个 numa 调度,可能是这方面的问题
    hareandlion
        2
    hareandlion  
       2020-06-28 18:01:24 +08:00   ❤️ 2
    貌似有人提过类似的 bug
    https://bugs.python.org/issue26903

    CPython 底层源码里 max_workers 加了限制
    https://github.com/python/cpython/commit/39889864c09741909da4ec489459d0197ea8f1fc

    看 issue 的状态是已经在 3.7 和 3.8 版本里修复了,更新一下 Python 版本试试?
    这种硬件超过软件设计的情况也算难得了吧
    volvo007
        3
    volvo007  
       2020-06-28 21:36:23 +08:00
    win10 有个 workstation 版本,这个能解决核心的调度问题吗?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2580 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 10:54 · PVG 18:54 · LAX 02:54 · JFK 05:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.