最近在使用 celery 做任务队列,用 flower 已经可以满足查看某个任务的执行状态,参数,时间等等。
后面想着定制需求:通过一个 task_id
实时查看执行的情况(类似任务执行里面的 print, logger 等),各位大佬们有没有建议?
目前自己的大概的想法:
worker
的执行日志里面操作,做近实时的收集( collectd, fluentd, filebeat 等),然后根据 task_id
在日志的仓库( clickhouse, es )做查询。这个日志搜索会有一定的延迟性tail -f
)。 1
strict 2021-04-02 15:43:23 +08:00
简单粗暴,把日志关键数据塞到 result backend 中.
|