之前在论坛问过定时任务的监控问题,发现 airflow。
现在要做数据清洗和数据挖掘的工作,发现 airflow 非常适合用来做调度。但是遇到一些问题:
使用体验
airflow 重启很慢,开始的时候总误认为服务没有启动成功
问题
在 airflow web 界面点击了 Run
,但是 job 一直处于 running 状态
比较费解,是按照 使用 Airflow 替代你的 crontab 的流程操作的。 不知道是不是有人也遇到过类似问题。
服务上的两个进程也都正常运行
[root@user_portrait 2018-03-26]# ps -aux | grep airflow
airflow 9871 0.4 0.0 324724 55788 ? S 02:23 0:22 /usr/bin/python2 /usr/bin/airflow scheduler
airflow 9882 1.9 0.1 946824 78132 ? S 02:23 1:31 /usr/bin/python2 /usr/bin/airflow webserver
airflow 9908 0.0 0.0 318008 55220 ? S 02:23 0:04 gunicorn: master [airflow-webserver]
airflow 20250 2.7 0.1 1036560 75780 ? Sl 03:38 0:02 [ready] gunicorn: worker [airflow-webserver]
airflow 20273 3.8 0.1 1036560 75780 ? Sl 03:39 0:02 [ready] gunicorn: worker [airflow-webserver]
airflow 20366 7.0 0.1 1036560 73740 ? Sl 03:39 0:02 [ready] gunicorn: worker [airflow-webserver]
airflow 20516 25.7 0.1 1036560 73740 ? Sl 03:40 0:02 [ready] gunicorn: worker [airflow-webserver]
1
OldPanda 2018-11-21 07:41:39 +08:00
虽然过去了很久,不知道楼主定位到问题在哪里了吗?一直 running 的状态大概是因为 airflow 的前端不会自动刷新?
|