V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Emiya1208
V2EX  ›  NAS

臭运维的 Homelab/NAS

  •  
  •   Emiya1208 · 295 天前 · 4042 次点击
    这是一个创建于 295 天前的主题,其中的信息可能已经有所发展或是发生改变。

    用永擎 C236 WSI4-85 ( 64G ECC )+ OWC U2 Shuttle + CyberPower 的 UPS 组了全闪的 Homelab/NAS 。

    5 X 2T 的 SATA (其中一个在主板的 m.2 上)组 RAIDZ2 存放数据,4 X 512G 的 NVMe (m.2) 也是组 RAIDZ2 做系统盘。由于实际上是个 PLX 设备,内部数据交换不会走到主机上,所以性能挺不错。

    NVMe 用了一根中上等的牌子,一根一般的牌子,两根垃圾的牌子(现在固态好便宜,可以考虑升级一波)。

    另外通过 4 个千兆口 bonding 把 Garage (一个开源的 S3 对象存储)里面的东西通过 Rclone 备份到局域网内的 4 x 4T HDD ( 15mm ) 组的 RAIDZ2 里面,这东西拿 Riverbed 的机器做的。

    至于 Riverbed 还连了个二手的磁带机做冷备份(虽然我从来没从里面取过数据)...

    平时的话就是使用 C236 WSI4-85 这个 AIO ,万一有需求了使用 Riverbed (虽然感觉这备份几乎也用不到)

    总的来说,C236 WSI4-85 这个 AIO 已经足够我用了,能塞到 15 寸笔记本放不进去的包里面,由于是全闪,重量也不是很重。

    有些东西就是纯为了研究和折腾的时候捎带捡的垃圾,有些东西倒也真的算是好东西。

    PS: 关于容量,因为确实没有那么多需要值得保存的数据(还是有一些的),做 RAIDZ2 只是懒得在硬盘坏了之后重装系统或是恢复备份。关于全闪,主要为了轻量化可以适应随搬随走。

    C236 WSI4-85

    OWC U2 Shuttle

    16 条回复    2023-06-19 13:50:23 +08:00
    zhlxsh
        1
    zhlxsh  
       295 天前 via iPhone
    机器多少钱?每个月电费多少钱😂
    Emiya1208
        2
    Emiya1208  
    OP
       295 天前
    @zhlxsh 还好,AIO 机器 + 那个盒子 3000 吧,反正 RAIDZ2 硬盘大部分都是捡的垃圾。功耗嘛,这堆 SSD 可能还不如两块 HDD 。整机功耗在 50w-75w 这样。
    uncleroot
        3
    uncleroot  
       295 天前
    方案不错。
    之前跟风搞了几个 16T 的硬盘 + HPE GEN10 总成本快上万了,还没 Nvme 盘位。
    lemonsz14
        4
    lemonsz14  
       295 天前 via iPhone
    原来如此
    9544
        5
    9544  
       295 天前
    好奇跑什么服务
    ryd994
        6
    ryd994  
       295 天前 via Android
    系统盘没必要搞 raidz 啊,CPU 消耗大而且随机读写性能差。
    系统盘用 raid10 足矣。如果系统盘严格只存软件不存数据,而且配置文件有备份的话,raid0 都 OK 。
    定期备份系统的话,直接从备份恢复很快的。

    “由于实际上是个 PLX 设备,内部数据交换不会走到主机上”
    plx 并不能复制数据。zfs 是纯软件实现。有几份副本就要写多少数据,并没有内部交换的功能。何况你用的是 raidz2 ,plx 没有算力,不可能创造校验数据。

    plx 的作用是在 CPU pcie lane 不够的时候,增加额外的 plx pcie lane ,带宽共享,只要不是同时跑满就没事。

    显卡 SLI 的情况,显卡自身能产生数据,和其他显卡交换数据。这时候用 plx ,确实能让交换数据在显卡间交换而不经过 CPU 。
    ltkun
        7
    ltkun  
       295 天前 via Android
    四个盘搞 z2 合适吗 空间利用率和 raid1 一样了都 性能不知道 OK 不 系统盘我懒得重新安装 一开始一根 2t 的 nvme 今年乘着国产雄起又加了一根做了软 raid1 现在这个行情感觉全固态是完全 OK 的 毕竟 4t 都 999 了
    Emiya1208
        8
    Emiya1208  
    OP
       295 天前
    @ryd994 拆解为三部分回复

    1. 在我的场景 RAIDZ2 是有必要的,这个会在 3 里面再解释,尽管 RAID10 也是可以的,但是我不喜欢同时管理两种东西。

    2. 如果是向 NVMe 组成的 RAIDZ2 外搬迁数据,确实会造成一些 CPU 消耗。但是当我在使用 NVMe 阵列的若干个虚拟机之间传输数据时,我没有看到这样的情况,并且测试数据的表明 PLX 应该是工作的,他们之间的传输速度能够达到 8000MB/S(由于在下面 3 里面的设计,这部分我不再方便截图),然后在其中一台虚拟机内部测试的结果如下

    ![测速]( )

    3. 我将每个使用 SATA RAIDZ2 阵列的虚拟磁盘每个都搭配了 1/16 的 NVMe RAIDZ2 阵列的虚拟磁盘,他们组成了 Bcache ,用来提高我日常 80% 的使用时的性能,RAID10 运气不太好的时候虽然不会导致我的数据丢失,但是由于我的目标是尽可能,尽最大可能不使用机械盘的备份甚至是磁带机的冷存储。所以我还是坚持使用 RAIDZ2 ,并且由于 2 部分的性能表现足够我使用了。
    Emiya1208
        9
    Emiya1208  
    OP
       295 天前
    @ltkun 数据盘是 5 盘,提高机箱厚度可以上 6 盘,超过 4T 的空间由于不是我的硬需求(当前是 6T ),我更关注拷贝数据的速度。因此性能方面,我的使用经验看下来是 OK 的。
    Emiya1208
        10
    Emiya1208  
    OP
       295 天前
    @9544 除了常见的一些东西( dns s3 tun2socks webdav samba jellyfin ),还有一些测试的东西,想法验证。他们分为若干台一直使用的东西,和若干台随时摧毁的东西。由于显卡支持虚拟化,使用 Parsec 远程 windows 虚拟机也可以给我在特定的时候使用(这样我就不需要在笔记本上装 windows 虚拟机了,windows 在特定的时候依旧是唯一选项)
    hunono
        11
    hunono  
       295 天前
    数据备份方面做了啥计划、配置?
    hezhile
        12
    hezhile  
       295 天前
    弱问,系统盘为什么不是两个 u 盘 raid 1 的?
    zycode277
        13
    zycode277  
       295 天前
    老哥牛的, 看你后续提到“显卡支持虚拟化,使用 Parsec 远程”,具体用了哪款?
    Emiya1208
        14
    Emiya1208  
    OP
       295 天前
    @hunono 基础设施使用 Infrastructure as code 管理,数据都在 DB 和 S3 ,DB 每天备份到 S3 ,S3 Rclone 每天全量备份到 Riverbed ,每周清理。后面可能考虑更换增量备份的方案,但是我现在没有上 100G 的数据需要备份... 暂时没有动力...

    @hezhile 理论上实际上当然都是可以的,两块 SSD 同时坏的可能性是存在的,我就选择了用 RAIDZ2 减少我需要手动恢复备份的可能性。

    @zycode277 主板上的那个 CPU 的集显就支持,可以虚拟出来两张 1080P + 一张 720P 。一张给 Jellyfin 硬解,一张给 windows 另一张暂时没用。
    leang521
        15
    leang521  
       288 天前
    @Emiya1208 主板都不止 3000 吧
    Emiya1208
        16
    Emiya1208  
    OP
       284 天前
    @leang521 海鲜市场 1750
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   4648 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 09:50 · PVG 17:50 · LAX 02:50 · JFK 05:50
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.