V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 3091 days ago, the information mentioned may be changed or developed.
想问下, mac 上有没有 spark 任务运行监控工具, 比如像 ccmenu 这种,可以在 mac 上不需要打开浏览器,也能实时监控任务运行状况的.
Supplement 1 · Nov 14, 2017
我用了一个很弱智的方法解决这个问题
- 在jenkins 上建一个任务来跑 spark 脚本
- 用 ccmenu 监控 jenkins 上那个任务是否执行结束
 |
1
Nitromethane Nov 14, 2017
没有~
|
 |
2
tinybaby365 Nov 14, 2017
写个 shell
apps=`yarn application -list 2>/dev/null|grep application_|awk '{ print $2 }'` 配合 mac 的 say 命令，通过喇叭报警； curl 调用 pushover 手机报警 |
 |
3
ufo22940268 OP @tinybaby365 因为是要监控服务器上的任务运行情况,所以这种方法不适合我
|
 |
4
CallFold Nov 14, 2017
|
 |
5
kex0916 Nov 15, 2017
mac 上没有专门的 spark 任务监控工具
但是 spark 自身提供了一套 REST API，可以监控 application、executor、job、task 等状态，http://spark.apache.org/docs/latest/monitoring.html#rest-api，可以从这方面入手。 |
 |
6
WendellSun Nov 15, 2017
@kex0916 流弊
|
Select Language