V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
maitiantuzi
V2EX  ›  问与答

世纪难题: Java 线程池 ThreadPoolTaskExecutor corePoolSize 等参数最优解?

  •  
  •   maitiantuzi · 2019-04-24 22:57:43 +08:00 · 3483 次点击
    这是一个创建于 2064 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一个物联网应用的典型场景,接收遥测数据然后解析并做业务处理。吞吐量不固定,但是要求稳定。

    我的测试环境:

    操作系统:Mac OS; 2.7 GHz Intel Core i5; 内存 8g

    Kafka:2.x 版本

    Spring boot:2.0.3

    Kafka 配置:1 个 topic,4 个 partition

    Producer 模拟发送 1000 条消息,耗时 500 毫秒左右。

    Consumer 批量接收( MAX_POLL_RECORDS_CONFIG = 50 )后,进入一个注解为 @Async 的方法并处理业务逻辑,每次业务逻辑耗时 80 ~ 100 毫秒,

    我想测试一下线程池的最优配置,正规测试流程是什么?想知道大家是怎么玩的。

    注:

    以下是我的部分测试结果(感觉有出入):

    corePoolSize:80
    maxPoolSize:100
    queueCapacity:1500
    消费 1000 条耗时:11s
    
    corePoolSize:8
    maxPoolSize:10
    queueCapacity:1500
    消费 1000 条耗时:15s
    
    corePoolSize:8
    maxPoolSize:20
    queueCapacity:1500
    消费 1000 条耗时:13s
    
    1 条回复    2019-04-25 06:24:12 +08:00
    alcarl
        1
    alcarl  
       2019-04-25 06:24:12 +08:00 via Android   ❤️ 1
    要先考虑你的业务逻辑的瓶颈在哪,然后再来说线程池如何配置。从你的测试结果看,线程数增加速度提升不明显,所以这怎么配池子也差不了太多,完全不是问题,问题是瓶颈在哪,如何搞定他。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3041 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 14:03 · PVG 22:03 · LAX 06:03 · JFK 09:03
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.