黑群晖转 unraid 和 pve 过程分享

[royking930911]

配置：宝藏盒机箱 + I3 10100T + 华擎 B560M + 16GB 内存 + 4 块机械 2 块 sata ssd
折腾理由：
黑群晖的 vmm 性能羸弱 ，太特么弱了，装个 win10 虚拟机卡的不要不要的。考虑到 CPU 性能还可以，平时搭建嵌入式代码编译平台费劲，想一劳永逸的做个私有云构建平台，以后代码构建直接丢这玩意就行，提高效率。
先入 unraid：
考虑 unraid 系统比较新，加上有 emby 转码的需要（当时认为核显直通给群辉虚拟机操作属实有点折腾），所以先用这个系统看看行不行。安装，切换一切顺利，由于主板自带 6 个 SATA 接口，我没有添加转接卡，故没有使用硬件直通，方案采用硬盘直通的方式进行。
问题暴露：
unraid 的硬盘直通走的也是它的 IO 通道，不得不说，unraid 的 IO 性能属实不太行。这种方式跑的黑裙硬盘性能砍了一半还不止。因为我还是想把所有资源都交给群辉管理，外部通过文件服务进行访问，这种性能降低属实无法接受。
再干 PVE：
在网上搜索相关 unraid IO 性能问题的时候，B 站有人指出，PVE 的 IO 性能要远好于 unraid 。加之 PVE 免费，毫无疑问，这成了我的下一个最优选择。
面临问题：
PVE 相较于 unraid ，最麻烦的还是核显直通，因为考虑到 emby 硬解问题，这个必须要解决。
解决问题：
安装部署 PVE 一切顺利，这个没啥难度。PVE 也只能使用硬盘直通的方式给黑群晖，测试 IO 性能，大概比 unraid 好上 30%左右（举个栗子，千兆内网复制文件到本地，裸黑裙跑满带宽，unraid 差不做只能做到 50MB/s PVE 可以跑到 70MB/s ）。
参看 B 站大佬视频，解决了核显直通问题。采用核显虚拟化，核显同时给了黑裙虚拟机做视频硬解，同时也给 win10 虚拟机做图形加速。不得不说，有核显加持的 win10 虚拟机性能立马上一个台阶。
系统优化：
安装 pvetools 优化 pve 系统，开启 pve cpu 动态调频降低功耗。
后续计划：
还是得加个 m2 转 SATA 的转接卡，后续直接走硬件直通。这个又回来之前那个问题，如果走硬件直通，那其实选择 unraid 和 pve 区别不大。pve 很多操作需要使用命令行，对新手不友好。unraid 图形化操作的选项多一些，不过有些地方也要用到命令行，这个看个人选择。同时，unraid 也有核显虚拟化，两者差别不大。
折腾结论：
搞了这么多，前前后后花了差不多 2 天，其实也就证明了一个点：unraid 的硬件 io 性能低于 pve 。
留此贴的目的：
给想有这方面的需求的人避坑。毕竟，一个周末把时间浪费在这个事情上，个人感觉不太值。

[cJ8SxGOWRH0LSelC]

PVE 直通和温度显示啥的，Github 上有一键脚本， 我试了挺好用的， 直通核显给 PLEX 转码也没问题。

[teasick]

享受了折腾的过程，值大了

[qqjt]

核显可以同时直通给黑群晖和虚拟机用吗？怎么做到的？

[royking930911]

@qqjt 使用核显虚拟化

[webto]

有没有考虑过直接装个 win10 ，干脆基于 hyper-v 搞虚拟化

[Esioner]

@qqjt 需要核显支持 GVT-G 的，不同的显卡支持虚拟化的数量也不一样

[Esioner]

@webto hype-v 没办法安装 ds7 这是硬伤，通过三方 VMWare 稳定性也有担忧吧

[FakerLeung]

5700u 怎么在 PVE 中实现核显直通？有没有懂哥？

[alvie]

@FakerLeung 别试了，AMD 不支持

[alvie]

@FakerLeung 搜了一下有人是成功的，感觉比较折腾😂
https://gist.github.com/matt22207/bb1ba1811a08a715e32f106450b0418a
https://forum.proxmox.com/threads/amd-ryzen-5700u-7735hs-igpu-passthrough-windows-11.142811/

[JRay]

我折腾 pve 独显直通的时候折腾半天，直通了，但是装不了驱动就很难受了

[elboble]

我是 pve 虚拟黑裙，win ，还有一个 linux

[TsubasaHanekaw]

pve 在集显最好是 lxc 挂载显卡, 然后 lxc 上装个 docker 装应用,直通给虚拟机比较麻烦
lxc.cgroup2.devices.allow: a
lxc.cap.drop:
lxc.cgroup2.devices.allow: c 188:* rwm
lxc.cgroup2.devices.allow: c 189:* rwm
lxc.cgroup2.devices.allow: c 226:0 rwm
lxc.cgroup2.devices.allow: c 226:128 rwm
lxc.cgroup2.devices.allow: c 29:0 rwm
lxc.mount.entry: /dev/dri dev/dri none bind,optional,create=dir
lxc.apparmor.profile: unconfined

[TsubasaHanekaw]

window 装上 virto ,操作就很流畅了

[Linken404]

unraid 的 io 性能确实太差了……所以我选择白群+unraid

[tediorelee]

unraid 的 io 性能差是指的它虚拟机功能的 io? 如果正经用 unraid 的 smb/webdav 存放数据, 这样不会也 io 差吧

[Chevalierbite]

N100 PVE 怎么直通核显啊，求大佬

[K0ala]

@FakerLeung 我是 6800 ，直通给了 Ubuntu ，没直通群辉

[royking930911]

@Chevalierbite N100 可以使用 srivo 虚拟化 B 站有相关视频 至于核显直通我没试过

[royking930911]

@tediorelee 我的理解是这样的 比如群辉的虚拟机 内部的硬盘其实就是一个文件，虚拟机平台负责将文件转成虚拟机系统的硬盘，同时也负责文件的读写，相当于硬件的软实现，这个性能就依赖于虚拟机平台的开发水平。
因为我的主板只有一个 SATA 控制器，没办法直接使用硬件直通，就采用了软直通的方式把硬盘直通给 pve 的虚拟机，本质应该跟磁盘虚拟化差不多，这个理解没有查相关资料，纯属我个人的理解，不知道对不对。

[A1busDumbl3d0re]

楼主的 unraid 是不是哪里设置的不对，我 unraid 上的黑裙没有做硬盘直通的情况下，挂载到本地，直接拷贝跑满千兆的 https://imgur.com/a/KPEj3PY

[TsubasaHanekaw]

unraid 的校验盘不是实时的.正常情况下读写速度就是硬盘的单盘速度

[chnnhhh]

unraid 六年老用户发出疑问，千兆都跑不满？实测 2.5G 网卡，读写可以跑到 180MB/s 左右
读速确实取决于你单盘的速度上限，我基本都是 HC320 ，读速差不多就是 180
写速麻烦点，要装上“CA Auto Turbo Write Mode”这个插件，主要原理就是利用其他数据盘反向读取校验盘的数据，优点就是大大提升写入速度，基本翻倍没问题，我可以跑到 150-180 ，缺点就是写入的时候 所有盘都会被唤醒，非写入盘也会进行读操作，会占用一些读 IO 资源
所以一般都是手动控制，需要大量数据写入的时候就开一下，平常关着就好

当然了 unraid 官方推荐的方式是用缓冲池（就是固态硬盘，速度你懂得），先写缓冲池，写满就不让写了，然后 mover 会定期（可以设置比如半夜三点）把数据往机械盘移动

[neotaburiss]

unraid 主要是易用性吧, docker 虚拟机 raid zfs 都可以玩下, 我用了 4 年多了, 300 多买的终身 key 还是很值的

[royking930911]

@chnnhhh 端午回去再研究一下 看看是我哪设置的有问题

[cnightmare]

unraid 加个固态校验盘会好一点，PVE ，裸 Linux 和 EXSI 都试过，最后还是选择了 unraid ，入了正

[chnnhhh]

@cnightmare 校验盘用固态不推荐啊 固态的读写会被严重拖慢 和你用机械盘当校验盘区别不大的
固态推荐还是老实当 cache 用

[A1busDumbl3d0re]

@cnightmare 固态校验盘是认真的吗？校验盘容量最少要大于等于所有存储盘中的最大单盘容量（官方文档原话：Any parity disk you add must be at least as large as the largest data drive (although it can be larger).），我单盘 18T ，哪里去搞 18T 的固态呢

[calpes]

我还以为需要高性能 IO 的虚拟机需要直通存储&需要高性能 IO 的 docker 服务需要引入 cache 和 zfspool 是常识。。。

[res1]

请问除了硬盘的花销 整套下来多少 想参考一下你的配置

[royking930911]

@res1 这个有点早了 当时花了差不多 2300 左右 主板和内存闲鱼收的二手的
如果你想按这个配 机箱也可以看看乔思伯的 N4

[res1]

@royking930911 谢了 老哥

[royking930911]

我又来了 之前 PVE 用了一周 听老哥们的建议 pdd 下单买了一个功率插座和 m2 转 sata 的转接卡 端午又折腾了半天 unraid 之前的问题通过转接卡成功解决了

这里遇到几个问题 解决过程可能对新手安装 unraid 有所帮助
1.应用商店被墙问题
没办法下载应用商店可以使用 Proxy Editor 插件和 pc 机的猫咪先救个急，建议系统代理配置和应用代理配置都选择走局域网代理。
2.显卡虚拟化问题
我的是 10 代 intel 处理器，跟 pve 一样，可以将显卡同时分给多个虚拟机进行核显加速。但 unraid 比 pve 简单很多很多，首先，如果你根据教程在 go 文件为 unraid 启动了核显应用，先删除相关配置以后重启。然后去应用商店下载 Intel GVT-g 、Intel GPU TOP 两个插件，重启 unraid 。
接着正常部署你需要的虚拟机程序，等正常运行虚拟机以后关闭虚拟机。进入 Intel GVT-g 插件，在 choose Mode 里面选择核显大小（注意，核显分配大小跟内存一样，相当于把核显分成多分给虚拟机，比如 128M 显存的核显可以分给两个虚拟机，每个只能是 64M ，超过分配显存大小会导致对应虚拟机无法启动。可以进主板 bios 手动设置核显大小），choose VM 选择对应的虚拟机，点击后面的 assign VM 即可完成分配。这一步的操作在 pve 里面就复杂的多。
后续的就是 WIN 系统需要进系统以后打核显驱动，DSM 直接就可以使用核显（ 10 代核显 dsm 需要修改驱动，这个跟黑群晖核显硬解教程中的修改 i915.ko 文件一致）
整体来说，unraid 确实比 pve 上手难度低很多。目前体验了几天，整体体验跟 pve 相差不大，唯一觉得不太一样的就是 unraid 动态调频好像不如 pve 好使，有这方面经验的兄弟可以指导一下我，我看频率就在最低和最高两个数值中来回横跳。