Celery 任务堆积是怎么解决的?

[bulay]

如果生产者的生产速度大于消费者的消费速度,在不增加消费者的情况下,celery 会怎么处理任务堆积的问题 丢弃任务还是生产者无法写入? ps:celery 的官方文档各位还能打开吗,我的打不开了

[julyclyde]

会导致队列变长

[bulay]

@julyclyde 那也不会无限制增长吧,redis 也会有限制的

[so1n]

@bulay 用 celery+redis 不怕出事吗...

[tcpdump]

@so1n 能出什么事？没发现问题。

[Rebely]

redis 内存吃光报错？
任务最好要加过期时间（ expires ）的吧

[zhoudaiyu]

会占用 broker （ redis ）的内存，异步任务会延迟

[bulay]

@so1n 能说说可能出现的问题有哪些吗,也好提前预防

[bulay]

@Rebely
@zhoudaiyu
那就是 celery 本身没有对任务堆积的处理呗,比如任务数目大于一定量时,写入任务报错这种机制

[cyct123]

@bulay 写入任务报错主要看 broker 的性能吧

[so1n]

@bulay
@tcpdump

[so1n]

@bulay
@tcpdump 不稳定啊 容易出一些奇奇怪怪的问题（出来问题就很难排查的那种），还容易丢消息 可以的话尽量用 rabbitmq 把

[fengjianxinghun]

@Rebely celery 超时实现的也不靠谱。。celery 就是个传销软件，bug 奇多，设计复杂

[bulay]

@fengjianxinghun 还有别的靠谱的分布式异步任务队列吗

[fengjianxinghun]

@bulay 没有，只有自己写的靠谱。

[fengjianxinghun]

我就没见过任何一个能正确硬超时的异步任务队列系统。。

[fxxkgw]

celery 任务本身要做成异步

[cz5424]

如果不特别处理会一直堆下去，可以把 task id 存起来，发现堆积主动丢弃

[lesterholy]

个人用过 dask 并没有深入对比过这两者，用的不精，楼主有时间可以研究研究

[bulay]

@fxxkgw 我觉的你这个想法很危险,会把服务器搞挂的
@cz5424 目前考虑这种做法,设置一个 expire,同时写任务的时候判断一下任务队列长度

[leven87]

https://docs.celeryq.dev/en/stable/ 可以打开

[xiaoxiaoyizhi]

有小伙伴想和 Googler 一起开发一个开源项目吗？
如果你每周有 5 天都能投入半小时以上的时间，即可参加
有一个组 HPA for Task Queue ，需要对 Celery 感兴趣的小伙伴加入
感兴趣，可加我 wx: love9871112