五一 vibe coding 了一个开源 ai 监控 nvr 系统

[llej]

最近发现我关在家外面的马犬晚上被其他的狗骑了，我的心都碎了

为了防止这种情况再出现我想让监控能及时的通知我

目前我使用的是 tp-link 的摄像头，他有一些智能识别能力，但不多

我所需要的场景其实很简单：识别监控指定区域出现两只及以上的狗立刻通知我 然后我可以通过对话功能进行驱离。

这玩意自己写肯定是费事费力还不讨好，一开始尝试了 Frigate 然后发现不太好用。

于是尝试使用 vibe coding 来帮我完成这个需求，经过五一这几天的高强度压榨 ai 终于整出来了，开源出来给有需要的人。

支持同时将多个摄像头多帧画面一次传给视觉模型，然后进行识别并更新“信号”然后通过 webhook 等方式推送通知，视觉模型也是支持配置多个（我发现 lfm2.5-vl-1.6b 这个还不错，然后就是 qwen3.5-0.8b ）

这几天消耗了 4.92B token ，经过我的尝试发现这个 nvr 效果一般，能力主要还是取决于所使用的视觉模型，当前明显还有很多的优化空间，但是五一已经过去了，等之后有空再优化吧

项目地址：https://github.com/2234839/ai-nvr 如果您想尝试的话，建议让您的 agent 去拉这个项目并配置

[cutiechi]

请问 TP-LINK 摄像头是国内版本的吗，语音对话用的什么协议，怎么配置的，Frigate 上想参考配置下

[llej]

@cutiechi 语音对话我用的是他的 app ，这个 nvr 主要是用于 ai 分析告警但对接了他的私有 ptz 云台控制（感觉语音接口或许也可以逆向出来），摄像头是国内版本

[andforce]

有没有问过狗，也许它愿意被骑

[llej]

@andforce 我心痛，我不乐意，乱七八糟的狗晚上都来

[phatzhong24]

牛逼！

[fs418082760]

你的狗被其他狗骑，不是体会不到快乐所以才心碎的吗？
何况你开着监控，又没有反制手段，盯着看不是更心碎吗？建议给你的 AI 提个需求，联动前端的大喇叭，只要骑上去就开嗓扫黄！

[llej]

@fs418082760 直接联动也是好想法，有空了再逆向一下 tp link 的语音接口

[nightlight9]

哮天犬动了凡心了

[yyysuo]

不是，它被骑了你咋知道的？这还能看出来么，没事儿为什么要看狗的监控呢。
另外，马狗太大只了，给人的压迫感太强，怕怕，关起来还有被骑的风险吗。

[llej]

@yyysuo 那天我听到外面有链条声，然后看监控看见了啊，这有啥好质疑的，我的狗本来就是栓起来的，你看看图片好不好，只是没有一条门在外面关着，但是路过的人也不会被吓到。

[llej]

@nightlight9 🥹，就怕生一堆串串，不想养也忍不下心去扔

[fish2050]

https://github.com/budwk/budcam

我也做了一个

[fish2050]

用大模型训练效果不好，还是用专业的 yolov11n yolov8n 吧

[llej]

@fish2050 yolo 我也试了，可能是我的使用方式不正确，总感觉识别不好，会错误标注

[firefox12]

原理是什么 我看了一下都是 ts ， 是启动一个网站， 然后使用 webrtc 把视频流拿过来，然后过几秒截个图，把截图怎么处理？ 直接发给大模型？问他里面是不是 2 只狗 是的话 返回是？ 然后根据大模型的结果接后面的 webhook 这些吗？ 进入大模型发现自己什么都不知道

[llej]

@firefox12 后端是 bun ，bun 会拉起 ffmpeg 来转换摄像头提供的 rtsp 流，然后根据规则的定义去截图发给大模型再走 webhokk 这些

[EthanCN]

为什么又要造轮子呢，frigate 的方案已经很成熟了。我也做了类似的场景，不过是把家里的所有摄像头通过 rtsp 接入了 frigate ，使用本地的 yolov9 用来识别有人无人。vibe 了个程序，如果有人就将事件的首尾帧+中间关键帧发给云端的 Qwen3.6-35B-A3B 模型进行 ai 总结，总结后再使用 bark 推送通知，因为仅指定了其中两个老家院里的摄像头通知，人流量不算大，只关注进入家里的情况，一天的 ai 成本大约 1.5 毛钱。