V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
sirz
V2EX  ›  程序员

Python celery 替代

  •  
  •   sirz · 176 天前 · 2500 次点击
    这是一个创建于 176 天前的主题,其中的信息可能已经有所发展或是发生改变。
    py 没怎么搞过,现在有个很简单的需求,py 作为消费者消费 rabbitmq 队列,后台执行一些耗时处理。生产者是 Go 。
    试了下 celery 资源吃的挺多,有没有什么简单的组件实现这个功能?
    17 条回复    2024-08-27 07:47:29 +08:00
    zengxs
        1
    zengxs  
       176 天前
    pollux
        2
    pollux  
       176 天前
    qW7bo2FbzbC0
        3
    qW7bo2FbzbC0  
       176 天前
    当时选择了自己实现,这种框架对项目原来代码结构侵入比较严重
    zhengxiaowai
        4
    zhengxiaowai  
       176 天前
    celery 虽然也不太行,但是相比其他的还是问题算少的
    encro
        5
    encro  
       176 天前
    这种问题,

    是 celery 问题吗?

    celery 能吃多少资源?

    肯定是应用才是大头啊。
    bitmin
        6
    bitmin  
       176 天前
    如果只是消费 rabbitmq 队列, 装个类似 aio_pika 这样的依赖,直接订阅消费就可以了吧,后台消耗 cpu 的就丢进程池里处理,如果是消耗 io 的直接协程处理
    djangovcps
        7
    djangovcps  
       176 天前
    想简单点的话 while True: try except: 失败重试 消费呗
    iorilu
        8
    iorilu  
       176 天前
    RQ(redis queue)
    轻量一些把, celery 是比较重得
    Ritter
        9
    Ritter  
       176 天前
    rq
    brianinzz
        10
    brianinzz  
       176 天前
    tikazyq
        11
    tikazyq  
       176 天前
    这种简单需求用不着框架,自己实现就可以了
    fred649
        12
    fred649  
       176 天前   ❤️ 1
    试试 Django Q2
    fred649
        13
    fred649  
       176 天前
    不好意思,没看到不是 Django 项目
    gaeco
        14
    gaeco  
       176 天前
    pioflight
        15
    pioflight  
       176 天前
    supervisor 拉一个常驻,然后检测队列,做轮训吧,之前的项目稳定跑几年这块逻辑都不用维护,美滋滋
    MADBOB
        16
    MADBOB  
       176 天前
    https://github.com/rq/rq rq 简单好用,比 celery 轻量好多
    GeekGao
        17
    GeekGao  
       175 天前
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2720 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 15:09 · PVG 23:09 · LAX 07:09 · JFK 10:09
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.