不要小瞧了监控这件事

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 外包信息请发到 /go/outsourcing 节点。

• 不要把相同的信息发到不同的节点

这是一个创建于 3661 天前的主题，其中的信息可能已经有所发展或是发生改变。

这个世界上开源和收费的监控系统实在是太多了，而不是太少了。无论是传统的nagios，ganglia，还是所谓的云监控系统。它们的工作方式其实都差不多，安装一个agent，上报数据，然后花花绿绿的图表就显示在web界面上了。无论这些系统如何包装，前端写得多么漂亮，一看截图十有八九图例是“cpu1”，“cpu2”。cpu使用率，内存，磁盘，仿佛把这些东西的曲线画在一个web界面上，监控工作就完成了似的。好吧，你有cpu使用率曲线图了，so what？

监控是多学科交叉非常有深度的课题。其职责一般落在一个部门里的运维身上来落实，比如我这样的人。我们知道技术里一流的人才去做架构师了，二流的人才去做后台开发了，三流的人才比如我这样的就来搞运维了。搞好监控是一项与运维传统技能（能熬夜肯加班，虎背熊腰扛机器）非常不match的工作，它包含四个方面的内容：

1、根据目标选择监控对象和策略
2、数据上报与实时统计
3、异常检测
4、由人或者系统来处理

其中数据上报与实时统计就需要非常综合的工程能力。简单的搞个小脚本往中央的一台开源监控系统定时报个数就行了，表面上很简单。但是大型系统监控往往对应到了jd里的所谓“大数据”经验。你需要从选择hbase还是postgresql，选择storm还是spark，选择metaq开始kafka，选择flume还是logstash这些开始，然后经过一个漫长的学习过程，最终学会了如何fancy而优雅地“数数”。其实我一直很纳闷的是，怎么有这么多牛b的人写这么多牛b的系统来干小学生都会的数数工作。

异常检测是一件表面上非常简单的活。比如给定一颗cpu，平时都是40%的占用率。那好，我配置一个80%的阈值，超过就告警，完事了。但如果你要监控的对象一根一天上下变化非常剧烈的曲线呢？早上可能只有几千，中午和晚上可以到几十万。这个时候去检测异常就不再是一个阈值这么简单的工作了。这项工作的学名叫Outlier Detection，按照分类来说属于机器学习，自打有计算机这门学科以来从简单的自回归到现在的SVM神马的，paper是层出不穷的。简单来说，这是一片有着科学家头衔人群从事的领域。

即便是发条告警消息这么简单的一件事，也事关cognitive bias。有人还研究飞机驾驶舱的告警消息设计是如何导致大西洋坠机事件的。还有花花绿绿的仪表盘，如何设计好以更好利用人眼的认知方式以传达信息，这也是一门很深的学问，叫data visualization。这个领域有一家大名鼎鼎的公司叫tableau，其创始人以前是在好莱坞搞动漫渲染的。凌晨四点需要叫运维起床尿尿的系统，必须重视人机交互这块的。给头脑不清醒的人设计界面一个场景就是club里给醉汉们用的点唱机，另外一个我所知的场景就是接到电话之后愤怒起床来定位问题的运维了。

故障处理就是个擦屁股的活，这话一点没错。那些架构师们设计了一个高可用的架构之后，他们的工作就高大上的完成了。故事是这样的，一台application server挂了，前段nginx检测到自动把这台application server踢掉，用户完全不受影响。然后后台开发们就可以光荣自豪的说，前段机器哈随便挂的说。运维苦哈哈的嘟囔着，尼玛又挂了。一个集群里挂个一两台application server可能是没啥关系的，但是挂多了呢，雪崩了呢？挂掉的机器咋处理，放那晾干么？故障及不还得修，不还是得人来管？运维们就像唐顿庄园里地下室的仆人们一样，做一些卑微但是必要又无人欣赏的工作。更加不要说，没有做高可用的架构了。一台登陆服务器挂了，cao，无论你是在陪女朋友逛街，还是第一次相亲，都得飞奔到有3g信号的地方开始ssh。

好像少了什么。哦，忘记说了。这是篇招聘帖，老板说了再招不来人我就要滚蛋了。如果你对以上工作内容的任何一条感兴趣，请联系我： [email protected]。没有薪资范围的招聘都是耍流氓，我就耍了，怎么的？有本事来找我啊，联系地址：腾讯游戏，深圳南山科兴科学园。是的，英雄联盟，穿越火线，天天酷跑就是我们部门负责运维的。经常挂，进不了大区？是的……所以我们要招人好好来搞嘛。anyway，call me，约吗？

第 1 条附言 · 2014-11-07 18:28:42 +08:00

社招
求前端开发
求java后台
求python后台
求php后台
求c/c++后台
求perl/bash脚本熟练工
求异常点检测，文本分词聚类，机器学习算法工程师

运维

监控

告警

80 条回复 • 2016-03-25 16:10:24 +08:00

maemual

2014-11-06 23:49:59 +08:00 via Android

赞招聘方式！

yywudi

2014-11-07 00:07:36 +08:00

点赞！我很有兴趣的看完了，然后觉得运维也是很高大上啊，这么多看不懂的单词biubiubiu的。
然后，估计我干不了这活...

thinkxen

2014-11-07 00:09:55 +08:00

可惜不会~~~~~~~~

ksc010

2014-11-07 00:16:20 +08:00

Jaylee

2014-11-07 00:19:29 +08:00

zhouhua97

2014-11-07 00:20:09 +08:00

好特别的招聘贴，我喜欢，哈哈。

seki

2014-11-07 00:21:33 +08:00

招聘要求是啥，能理解这篇文章的每个术语吗？

kurtrossel

2014-11-07 00:22:52 +08:00

好牛逼，跟我认识的运维完全不在一个维度

abelyao

2014-11-07 00:24:07 +08:00

尼玛，这招聘才是真正的招聘啊！
如果一个人对你这帖子内容有兴趣，甚至觉得可以做得比你更好，那这人肯定就是你们要找的！
如果有一个人对其中有兴趣，愿意去深入学习，那你们招了也有前途！
这招聘帖逆天了！

sivacohan

2014-11-07 00:27:03 +08:00 via Android

说的很诚恳。
不过作招聘贴。还是把
工作范围
能力要求
薪酬范围
写出来比较好

ichigo

2014-11-07 00:27:21 +08:00

mark

saturnast

2014-11-07 00:33:27 +08:00

哈哈，大腾讯的运维吗？对运维超感兴趣，可惜不会，为楼主的实诚点赞！

AstroProfundis

2014-11-07 00:58:38 +08:00

居然看到了野生的鹅厂同行_(:зゝ∠)_

233

2014-11-07 01:09:47 +08:00

牛逼....
V2上招聘帖top2, 另一个是上海百度的哥们

webjin

2014-11-07 01:21:15 +08:00

目前在广州的某机房做机房运维，去过很多机房，很多机房都有腾讯整楼层的包下来，然后请外包公司代维。

davidyin

2014-11-07 01:35:10 +08:00

诚恳有噱头

ericFork

2014-11-07 02:41:43 +08:00

好赞的招聘帖，看得都心动了 XD

Keinez

2014-11-07 06:34:22 +08:00 via Android

我比较好奇写这篇文章的是一个人还是团队。如果是出自个人之手，这个人一定很有趣。

dreampuf

2014-11-07 06:41:31 +08:00

我就奇怪，烂服务这么多，监控这一块怎么就每个声响

zxy

2014-11-07 07:29:47 +08:00 via iPhone

很有意思！

zy2013

2014-11-07 08:32:59 +08:00

赞，也做过监控，感觉要学习的地方还有好多

ryanking8215

2014-11-07 08:38:07 +08:00

恩，老有劲额。
就是为啥是gmail，不是qq mail或者tencent mail？

trdcaz

2014-11-07 08:44:19 +08:00

深有感触，不过深圳太远，不想去

leassy

2014-11-07 08:44:23 +08:00

我们公司的DBA跑了,然后我现在就又要搞服务器又要写程序,弄得我整个人都醉了,醉了~~~

neutrino

2014-11-07 09:06:34 +08:00

回复：“不约，叔叔我们不约。”

eric227

2014-11-07 09:12:54 +08:00

哈哈哈哈哈哈写得好！

catmic27

2014-11-07 09:19:34 +08:00

屌丝装机男看的泪流满面，不得不赞一个。

haoba

2014-11-07 09:21:02 +08:00

想约啊

suckli

2014-11-07 09:21:35 +08:00

9楼的同事你好

hbkdsm

2014-11-07 09:23:20 +08:00

招聘贴能写成软文类型的也是人才了！

soli

2014-11-07 09:31:33 +08:00

有点意思。

Tankpt

2014-11-07 09:37:07 +08:00

赞。。。。。。

Tinet

2014-11-07 09:40:34 +08:00

对此还是很有体会的。

roadli

2014-11-07 09:43:57 +08:00

同为苦逼的运维在这里赞一个，说的深得我心啊，可惜深圳太远

Catstyle

2014-11-07 09:44:05 +08:00

同为DevOps的默默up一下

xidianlz

2014-11-07 09:48:11 +08:00

看头像是蓝鲸，项目貌似也是蓝鲸吧，周末投个简历看看~
:)

WildCat

2014-11-07 09:53:50 +08:00 via iPad

lazyphp

2014-11-07 09:54:06 +08:00

腾讯的招聘，竟然耍流氓了。好吧，我是进不了的。哈哈~~不过这招聘太有意思了。我还以为是说运维之苦。

halfbloodrock

2014-11-07 09:56:24 +08:00

我去。。。LZ是我们合作方啊。。。。

CMGS

2014-11-07 10:08:11 +08:00

这个招聘不错……我也在招类似的人- -

behappy

2014-11-07 10:19:43 +08:00

好顶赞

yechengxiao

2014-11-07 10:24:25 +08:00

看着好吸引人

zyxfsky

2014-11-07 10:24:58 +08:00

监控出身，看到帖子还以为是要探讨，原来是招聘贴，不过还是要赞下

xiaohanyu

2014-11-07 10:25:55 +08:00

赞赞赞，独树一帜的招聘贴

iyaozhen

2014-11-07 10:39:08 +08:00

叼，我也在做监控。赞

hjxx

2014-11-07 10:40:18 +08:00

看到最后才知道是招聘贴赞，中间几个英文专业术语一般人不知道

tftk

2014-11-07 10:54:09 +08:00

不错。

mnsw

2014-11-07 11:21:56 +08:00

这招聘。。。。赞一个！

cbwzwsq

2014-11-07 11:33:30 +08:00

赞！

siko

2014-11-07 11:46:19 +08:00

赞！

jaxiinofea

2014-11-07 11:53:57 +08:00

有点意思~

likexian

2014-11-07 11:54:21 +08:00

楼主啊，字太多了，密集恐惧症啊，不想看啊，随便拉了拉啊，我也说一说吧。

在这个世界上，监控都不是目的啊，就比如你监控一个女神的活动，你以为你真的是想收集这个女神的数据来做大数据吗？很明显不是啊，你是想上她啊。所以说，监控任何时候都不是最终目的。

那么既然监控不是目的，那目的是什么呢？

答案是：目的是发现宕机，然后处理宕机。

如果有服务器挂了，你应该首先做什么呢？查原因，解决问题？

如果你这样说，那么你就不是一个合格的运维了。

宕机了，运维要做的首先是切换服务器啊，保证对用户的影响才小才是合格的运维啊。

那么问题来了，挖掘机可能会坏，我们需要监控它，监控到坏了怎么办？切换它！

那么答案来了，监控切换哪家强，中国山东D监控啊！！！

D监控，监控切换一条龙。

编者注：DNSPod D监控，不仅可以监控，还可以在服务器宕机后第一时间切换服务器并发送微信、短信、邮件通知。无痛切换，首选D监控！