• 请不要在回答技术问题时复制粘贴 AI 生成的内容
oom
V2EX  ›  程序员

写了个 eBPF 流量可视化工具(生产目前在跑)

  •  
  •   oom · 9h 12m ago · 712 views

    旁路挂在交换机镜像口上,支持多网卡,不侵入业务链路,单个二进制文件跑起来就是一整套系统( Web 控制台 + eBPF 采集 + 存储查询)

    GitHub: https://github.com/xxddpac/netra

    这两天刚好在真实的 20Gbps 专线上部署验证:

    • 两块物理网卡各自独立接镜像流量(两台核心交换机分别镜像到同一台服务器的两个物理口,共享同一份 eBPF map )
    • 抓取峰值流量 10.1Gbps / 160 万 pps(毫无压力,无丢包)
    • 40 核机器上,netra 进程稳定占用约 1.2 个核(约 3%)
    • 存储用 DuckDB ,流量历史按小时封存 Parquet 文件,进行一些列优化,1 亿+ 条数据查询稳定在 2-3 秒
    • 接入 AI 以及 MCP 对接内部工具

    有大流量环境的大佬欢迎聊聊实测性能

    8 replies    2026-08-21 22:27:01 +08:00
    sskycn
        1
    sskycn  
       9h 4m ago via Android
    owt5008137
        2
    owt5008137  
       7h 25m ago via Android
    喜欢造轮子之挑战 opentelemetry 么
    zhcode
        3
    zhcode  
       7h 9m ago
    试一下,看能不能替代掉 vnstat
    qW7bo2FbzbC0
        4
    qW7bo2FbzbC0  
       6h 50m ago
    可以说说为什么选用 duckdb 吗
    oom
        5
    oom  
    OP
       4h 8m ago
    @qW7bo2FbzbC0
    主要这两方面:
    1.DuckDB 可以直接内嵌到 Go 二进制里,省去了数据库运维这块
    2.列式存储针对海量数据的聚合查询性能非常强,实际压测表现查询性能比 SQLite 快 20-100 倍

    一开始只用 SQLite 时当数据量上来之后基本没法用,所以额外引入 duckDB,低频数据不大的走 SQLite,高频海量数据的走 duckDB ,各自发挥优势
    oom
        6
    oom  
    OP
       4h 8m ago
    @zhcode 期待大佬测试结果
    oom
        7
    oom  
    OP
       4h 8m ago
    @owt5008137 这两个实现的功能不一样呀
    oom
        8
    oom  
    OP
       2h 13m ago
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1606 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 16:40 · PVG 00:40 · LAX 09:40 · JFK 12:40
    ♥ Do have faith in what you're doing.