V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
no13bus
V2EX  ›  程序员

celery 最佳实践

  •  
  •   no13bus ·
    no13bus · 2014-07-21 09:25:53 +08:00 · 4325 次点击
    这是一个创建于 3772 天前的主题,其中的信息可能已经有所发展或是发生改变。
    14 条回复    2014-10-14 16:03:40 +08:00
    no13bus
        1
    no13bus  
    OP
       2014-07-21 09:32:47 +08:00
    第一个文章里面的回复里面有个解决作者关于不能直接传object的解决办法。可以看看。
    刚才发现了这个地址。原来官网一直有好东西。自己没注意。嗨
    http://www.celeryproject.org/community/
    stillzhl
        2
    stillzhl  
       2014-07-21 10:22:38 +08:00
    @no13bus 赞一个
    dafang
        3
    dafang  
       2014-07-21 12:44:57 +08:00
    好吧,真心觉得很水的一篇best practice。。。
    no13bus
        4
    no13bus  
    OP
       2014-07-21 12:51:17 +08:00
    @dafang 你那里有好文章也分享出来呀。
    MasterYoda
        5
    MasterYoda  
       2014-07-21 13:19:22 +08:00
    今天刚刚掉进一个奇怪的celery坑里,对broker(redis)的连接数暴增到10000+。
    no13bus
        6
    no13bus  
    OP
       2014-07-21 15:29:57 +08:00
    @MasterYoda 后来呢?啥原因呢?我broker也是用的redis。
    MasterYoda
        7
    MasterYoda  
       2014-07-21 15:45:09 +08:00
    @no13bus 没有找到原因啊,尴尬的很,task.delay时报错已经max number of clients了,一看连接到10000+了,到了redis conf里的上限。
    MasterYoda
        8
    MasterYoda  
       2014-07-21 15:45:47 +08:00
    @no13bus
    之前issue里有别人提过这个,不过新版本应该已经fix了。我这个问题的原因还在查。
    no13bus
        9
    no13bus  
    OP
       2014-07-21 17:39:13 +08:00
    @MasterYoda 你得是3.1?新版本是3.2.我用的也是3.1
    修复好了,可以分享下。一起来防坑
    MasterYoda
        10
    MasterYoda  
       2014-07-22 09:29:12 +08:00
    @no13bus 3.1.12 突然间出的问题,也没有原因的恢复了,我把broker迁到了另一个机器上,连接数稳定在19了。
    no13bus
        11
    no13bus  
    OP
       2014-07-23 14:09:19 +08:00
    @MasterYoda 有空交流交流celery的使用?最近用的比较多。qq 364416072. 不知道你们celery的监控室怎么做的。我用了他官方推荐的flower,是tornado写的。
    MasterYoda
        12
    MasterYoda  
       2014-10-14 14:51:14 +08:00
    @no13bus 上次那个连接数的问题,redis达到它的maxmemory后,task.delay每次都会开一个新连接,原因未知。
    no13bus
        13
    no13bus  
    OP
       2014-10-14 15:56:01 +08:00
    @MasterYoda 你怎么查看的redis的当前的连接数量?
    no13bus
        14
    no13bus  
    OP
       2014-10-14 16:03:40 +08:00
    @MasterYoda 看到了redis-cli info就能看。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3012 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 13:51 · PVG 21:51 · LAX 05:51 · JFK 08:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.