Linux 主力机+多开虚机的最佳实践是什么

[hanssx]

前 2 天发了这么一个帖子（已下沉 1 天） https://v2ex.com/t/847100

主要需求：
1. Linux 作主力机，把虚拟机多开的这个需求分离出来，让 PVE 方案来做，当主力机需要用到虚拟机时，就 rdp 或 vnc 到 pve 里面的 windows 或 linux 。
2. 只用来安装 windows 与 linux ，不需要安装 openwrt 、omv 、nas 等。初步想法是在 PVE 里面装一个 windows 7 （用作日常工作沟通、收发邮件、安装 windows 的一些软件比如 X 雷）、一个 windows server 2016 （学习与测试）、一个 ubuntu （学习与测试）、一个 linux mint （学习与测试）。
3. 不考虑 mac ，已习惯 i3wm+mint ，主要是业界这些毒瘤软件不支持 Linux 让人烦。


因为没做过相关实操，有几个问题想请教做过的老哥：
1. 我也知道 pve 里面装 Linux 比较合适，但是需求就是要用 windows ，想问一下，在相同硬件情况下，pve 里面装 windows 虚拟机和普通的 vmware workstation 装 windows 虚拟机的方式，性能差别应该不大吧？如果相差很大，是为什么以及咋解决呢？
2. 如果这套方案可行，我是想把 pve 放到公司 7*24 （主要在公司用电脑嘛，只走内网 RDP 也快，还能用公司电费），硬件体积最好小一些（也不用追求太极致，性能还是最主要的），pve 也是看了几天 youtube 视频才了解一点点（视频杂乱不成系统），硬件选配方面也不懂，我想问一下应该如何学习硬件选配和 pve 虚拟化（有网络基础和 Linux 基础），老哥们有比较推荐的播主或资源论坛吗。

看到不少兄弟收藏，这里更新一下，也当是回馈 V 友，不过很多可能不具备参考性，特别是硬件，我当时为了追求极致性能，买的全新主板，没必要上 X12 ，X11 即可，目前使用得是 All in one Except router

硬件：
路由器 红米 AX6 * 2 （买了 2 个，其中 1 个作为备份）
机箱 追风者 614PC （机箱风道还行，就是外壳稍微有点薄）
CPU 8352Y ES 步进 5 （软件是 PVE ，目前用着没啥问题，之前遇到过一个问题，关闭 PVE 里面的 ACS 之后没再遇到过，详见我发过的帖子）
主板 X12DAI-N6 （ 5000 多买的全新板子，后悔了，主要是太贵了，而且我就上了一个 CPU ，杀鸡用牛刀了。）
内存 32G * 8
硬盘 U.2 2T * 2 + satadom 64G *2 + HDD 4T * 1 （ U.2 主要用来装虚拟机，satadom 用来作为 pve 系统盘和黑群 ds918 系统盘，HDD 主要为 ds918 数据盘，同时作为 PVE 虚拟机备份盘）
显卡 Tesla P4 + 1660s （ 1660s 直通显示器直出 win10 作为长期办公游戏电脑，P4 用于 Linux 解码，vGPU 也可以玩，自己没时间折腾啦）
风扇 机箱自带一部分，加买了猫头鹰散热，后期准备全改猫头鹰为了静音，风扇调节需要学习 ipmitool 自己温控。
温度 CPU 温度在 50-55 左右
备份方案 双猫盘 4T 本地/异地备份+公有云冷备+onedrive/百度云黑群加密备份

---------------------------------------------------------------分隔线--------------------------------------------------------------
软件：
红米 AX6 刷闭源 QSDK 应付 50 平房子 2.4G 足够
旁路由 openwrt 主要用于 VPN 、Wireguard ，openvpn 作为备份方案，wireguard 作为主要方案用于连回家 RDP ，流畅度 wireguard 快，弱网环境下 openvpn 性能明显，l2tp 被封。
底层虚拟化 PVE ，本来遇到一个内核 lockup cpu 的问题，都要放弃转 esxi ，把直通的 acs 选项关了之后再也没出现过，pve 牛批
windows 直接 rdp ，linux 目前用的 noMachine ，效果不太好主要是快捷键的问题，后面准备改用 XRDP 。

再补充一下，PVE 遇到的问题是 https://v2ex.com/t/966815 ，目前运行没再遇到问题。

硬件还有一个是 UPS ，主要用来断电自动关机，买的 APC BK650M2-CH ，这个 CH 好像是中国特供版，我是 linux pve 里面配置的 nut ，经过测试是可以正常关机的，可以看 syslog 日志来定位到 ups 相关日志。

防火球的话可以也买一个。

[Kiriya]

四个系统同时启动的话 cpu 上 I7 12700 内存上 64G 就差不多了

[linglin0924]

PVE 很合适。差的那点性能感受不到，或者说用不到。

关于画面，windows 小鸡都是通过 RDP 链接，RDP 帧率本来也不高。

我现在笔记本还是 8 年前的神舟，加到了 32G 内存，常年开着一个 win7 小鸡、一个 Ubuntu 桌面 一个 Debian server

[hanssx]

@Kiriya 擦，得上这么高的配置吗？一般情况下需要同时启动 2 个，但是希望满载的时候也能同时启动 4 个，CPU 有必要这么高吗？
@linglin0924 老哥是用笔记本做的 pve ？这 8 年了，一直开着硬盘会没事吗？

[hanssx]

关于备份，PVE 应该也没啥大问题吧，PVE 里面有类似 VMware Workstation 那样的快照功能么，如果 PVE 崩了，只要快照在，就能恢复吧？

[hanssx]

@Kiriya sorry ，好多年没看硬件了，我寻思 i7 12 代会很贵，jd 一搜 2600 还行不贵。

[collo]

我弄了台闲置电脑装了 PVE ，i7-4790 ，16G

常年跑了个黑群晖，一台 centos 软路由翻墙，一台 debian 偶尔开机测试，一台 win7 。

基本上都是轻度使用，感觉够用，楼主可以参考下。

[collo]

补张图。

[linglin0924]

@hanssx 中间换过硬盘，没留意。也是感觉读写慢了换的。换下来的接到树莓派上当备份了。

[hanssx]

@collo 老哥你这装了不少啊，想问下你是 7*24 吗，哪儿有硬件选配和 PVE 教程啊，现在感觉理解不透，准备先拿台 PC 试试。

@linglin0924 收到

[ltkun]

这个我有发言权 主力 pve 已经快三年了 i9 9900t 128g 内存 3tnvme 大约 60t 机械 all in one 可以看看我写的全私有云 如果升级就搞服务器了 稳定性可能更加好点 现在是省电毕竟家里 但是也稳 最高半年多没重启 一般不折腾不用管 容器开了一堆 容器里 docker 开了一堆 kvm 虚拟机也一堆

[ferock]

最废资源的是 win ，j1900 物理安装 win ，成本只需要 700 ，比你虚拟个 win 靠谱多了

[aaniao002]

intel nuc 猎豹峡谷，注意看不同版本 cpu 跑分，买最高那个。内存 32g ，硬盘 1t m2+2t hdd 。windows ssr ，windows 各种下载器，mysql 专用，win2019 ，准备再挂一个独立 oracle 。lz 那些这配置应该够了。

[aaniao002]

另外补一句，垃圾 x 雷居然能不卡。

[0o0O0o0O0o]

11 代低功耗轻薄本，核显，64G ，PCIe 3 ，Arch ，virtualbox 里日常开两个 ubuntu server 和一个 ubuntu desktop ，一些 windows 应用被我塞进 docker+wine 里，会开 anbox 运行某些 android 应用，分析东西时 vmware 会开两个完整的 windows 10 ，还会在 win10 里开 android 模拟器。

上一个贴我就说了，内存给够就行了。

[chocotan]

如果各种程序都跑在上面的话，猎豹峡谷的 cpu 性能肯定是不够的
（我现在就是 nuc11 i5 版本装的 arch ，vnc 远程开发，跑一些程序明显感觉太慢，已经计划装一个 12700 的 itx 台式机跑 pve 了，还是看楼主需求吧

[Linken404]

我家里是弄了个 HP gen10 plus 低配版，回来换了 CPU 加了内存，装的 unraid 。现在跑了五六个 docker+4 个虚拟机，有软路由、堡垒机、透明网关、nextcloud 、测试环境等等吧。不过 windows 确实不太行，比 vmware 和 hyper-v 差一些。
PVE 之前用的，感觉性能什么的问题不大，但 windows 同样有上面的问题，感觉像是性能或者优化没那么好，不知道是不是我调配的不合适。

[Linken404]

所以 win 的话最好还是像上面 11 楼说的，弄个低配小机箱物理装一个，不要虚拟化。我家里的 win10 是 k29 那个小机箱，然后之前 pve 软路由不用了之后换下来的 j3455 的板子，自带被动散热，加个 1U 电源就够了，只比个路由器大一圈，被我拿来做直播推流用了，装的 win10 ltsc 2021 性能还不错。

[ety001]

我是宿主机 PVE ，然后开一台 Linux 系统虚拟机做主力系统（ CPU/显卡都是直通），然后开了两台 Windows 系统虚拟机（ CPU 是虚拟核，显示和声音靠 rdp ），windows 系统一个是用来跑类似微信这样不支持 linux 的，一个是用来跑公司 vpn 客户端。另外开了四台虚拟机跑一些服务。

目前整体使用良好。windows 的性能马马虎虎，可用，不拉夸。如果是 windows 主力的话，直通 CPU 和 显卡会好很多。

另外如果懒得搞显卡直通，可以买 usb3.0 接口的扩展显卡，纯办公足够，省心省力，有些 usb3.0 的扩展显卡还额外带声卡，网口和多余的 usb 口（这种的需要额外的驱动支持，只支持 windows ）。

下面的截图就是我目前主力系统的桌面（两块显示器）

[ww2000e]

用虚机无所谓宿主机什么系统，我都 win10 上装一排虚机

[ymmud]

我是一台 mac air, 家里一台 unraid, 平时 rdp 连 unraid 跑的各个虚拟机

[documentzhangx66]

方便自己开发测试：Windows Server 2019 里面装 VMware Workstation Pro 。

企业生产、稳定，裸机直接装 VMware ESXi 最新版。

PVE 的优势在于集群 ceph ，如果只是单机且无 ceph 需求，用 PVE 不如用 VMware ，毕竟 VMware 的方便性与兼容性更好。

[longbye0]

昨天折腾了下 PVE ，暂时就安装了 win10 显卡直通用来打游戏。

[msg7086]

@documentzhangx66 ESXi 功能上太残废了，被 PVE 吊打。
要好好用 ESXi 的话，至少也要装上 vCenter 吧。
而且 ESXi 对硬件的兼容性仅限于服务器配件，家用件根本不管的。
Workstation 我没怎么玩过，不评论。

[Chase2E]

不知道为什么有在本地启动多个虚拟化主机的需求.
如果只是为了隔离服务环境的话, aliyun 或者 aws 开几个 ec2, 用 terminal 连接就行了, 还不用担心关机影响代码运行

[hanssx]

@ltkun 老哥你写的文章在哪儿呀

@ferock 这也是一种思路，但是就需要 2 台设备了，我得再想想。

@0o0O0o0O0o 擦，64G 内存夸张了

@ety001 老哥你这啥配置呀，扩展显卡的话就是方便插拔然后也是要直通给 windows 虚机吧。

@aaniao002
@chocotan
@Linken404
感谢各位，已将推荐硬件加入调研计划。

[hanssx]

@Chase2E 老哥，病毒分析会需要的，虽然我不会分析，但是经常需要测试一些恶意软件，平台 windows 、linux 都有。

[documentzhangx66]

@msg7086

ESXi 只是 VMware 全家桶 里的一个基础部件而已，相当于 PVE 的底层 KVM ，你拿 ESXi 和 PVE 比不恰当。

要比，应该是拿 VMware 全家桶 和 PVE 去比。

VMware 是早期 IBM 内部一帮专门做虚拟化，然后独立出来的公司，基本上是地球上最早做企业级虚拟化的。其产品 VMware 全家桶，包含虚拟化、分布式存储、软件定义网络、私有云、混合云，还有 EMC 提供的备份还原与数据重删等等，这些都是地球上最顶尖最前沿的东西。

PVE 、openstack 甚至 docker 都是在抄袭它的技术架构，然后做成免费版...连 java 那边一堆容器化思路也是这么来的。

真要比，VMware 全家桶是劳斯莱斯，PVE 是 5 号电池驱动的玩具车。

另外，连 DELL 、HP 、IBM 等厂家甚至要专门为它的技术标准，来出专门的硬件与软件，所以 VMware 不需要去费力不讨好地适配各种家用级硬件，因为家用级硬件不配，其不稳定性还容易搞坏 VMware 的声誉。PVE 如果不去做家用硬件兼容，连汤都喝不上了。

[wolfmei]

@documentzhangx66
赞同，VMWARE 还是大牛，我自己在工作环境搭了个三节点的 PVE 问了朋友关于 PVE 升级的问题，直接给我来一句你们这么有钱玩 PVE 干嘛~笑死我

[CatCode]

@msg7086 @documentzhangx66 vCenter 这种到底有啥用啊？感觉个人折腾虚拟化或者只有一台宿主机的情况下，ESXi 本体就完全够用了（如果选用 vmware 方案而不是 pve 方案的话）

[Biwood]

外加一个 Windows 平板，用 Barrier 进行通信即可

[Agre]

最近配置了百元机装 pve 可供参考

[documentzhangx66]

@CatCode ESXi 只是个虚拟化基础，并且只有一些最基本的管理功能，相当于 VMware Workstation Pro 、PVE 等在高级功能上大砍一刀。

不过，如果 ESXi 的功能，就足够你用了，你也没必要去安装其他全家桶软件，毕竟装那些软件要浪费一大笔资源。

[itgoyo]

同样的 i3wm+Linux Mint ，这组合真的是太香了，就是 A 卡驱动总是驱动不上，我枯了

[msg7086]

@documentzhangx66 那么，和免费的 PVE 对比，VMware 全家桶要花多少钱呢？
我上一家公司就是做 vCenter 二次开发的，只知道光装一个 vCenter 做虚拟机克隆就已经要小 5000 刀了。
咱公司大概买了十几个授权，几万刀的样子。
当然你要说全用 D 版倒也不是不可以。
但是就稳定性来说 vCenter 和 PVE 真的是不能比。
我们帮客户修机器，大概有 20%的时间是 vCenter 炸了我们要帮他们删了重装系统。
VMFS 也经常炸，如果不小心死机重启了，或者断电了，开机回来各种小鸡配置或者数据就不见了。
这种企业级的东西我觉得真的需要企业级的运维，炸了以后知道怎么去修去重装，又或者去买订阅。

@CatCode ESXi 只有最基本的功能，开新鸡，开关小鸡，改小鸡配置，这些基本功能。
集群，主机间迁移，小鸡克隆，这些高级功能全都需要 vCenter 。
当然你可以打开 SSH 进去在 VMFS 之间手动搬文件……

[documentzhangx66]

@msg7086

1.PVE 为啥免费？因为无论功能上、稳定性上，都是被 VMware 全家桶 吊打。再不免费，谁用？

2.VMware 全家桶是贵，但人家配啊。企业级不用 VMware ，难道去用 PVE ？

3.你说稳定性来说 vCenter 和 PVE 真的是不能比，你有证据嘛？

4.你说你们帮客户修机器，大概有 20%的时间是 vCenter 炸。那么，PVE 有没有这情况？

其次，客户的 vCenter 每次炸的原因是？

VMFS 每次炸的原因是？

5. 企业级的东西，因为承载的东西贵，价值高，当然需要企业级的运维，来保障数据安全。出这个钱的目的就在此。

PVE 这类家用的玩意，数据丢了就数据，会导致很大损失嘛？会有人担责甚至离职嘛？

[msg7086]

@documentzhangx66 那，这和楼主有什么关系呢……楼主是有运维团队，还是有 24 小时不间断电源配柴油发电机，还是愿意每年交 VMware 订阅呢？

企业用 VMware 当然没问题，出问题直接打电话找 VMware 的技术工就行了，5000 刀加每年的技术支持订阅费也不是白交的呀。

你要问炸的原因，就是 ESXi 有时候会紫屏崩溃，以及有时候机房电力供应会出问题。VMware 的全家桶是默认你服务器永不紫屏永不断电的情况，如果出现了就很容易挂的。我们有很多次就是因为 ESXi 死机，重启以后小鸡 BIOS 的 NVRAM 都丢了，然后我们加班帮客户重建小鸡恢复系统。我们和 VMware 打了那么多年交道，直接就导致了我自己绝对不考虑去用 VMware 的虚拟机产品，太坑了。

我可以给你再列举一些 VMware 整的活。比如他们家的产品 SSL 证书安装是有问题的。系统生成的自签名证书用起来一切正常，但是你要是把公网或者公司内部签出来的证书往 vCenter 里塞，你就等着 vCenter 炸了重装系统吧。这问题从我入职的时候 vC 5.5 开始，一直到我离职的时候 vC 6.7 为止，没一个好的。
还有比如他们刚开始的时候用的 vSphere client 桌面端来管理 vC ，用起来好好的，非要整活，搞 HTML5 管理界面，搞就搞吧，结果正式版发布出来，HTML5 的界面没做完，vSphere client 又 deprecate 了，硬要用不仅缺功能还会莫名其妙炸，一直到 vC 6.5 发布出来，才总算有个能用的 HTML5 管理界面。每次客户来问我们能不能升级 vC6 ，我只能告诉他们这版本没法用。
还有比如 VMkernel 里有个 Linux 驱动兼容层，可以让 VMkernel 挂载 Linux 的驱动。但是 ESXi 6 里给 megaraid 新做了一个原生驱动，但是这个原生驱动是有问题的，放在 HP 特定的服务器上跑，会不定时出现 IO 错误。我司内部的一台 HP 刀片机集群上了 ESXi 6 以后整个炸了。解决方法是换用 5.5 ，或者把 6 里面的原生驱动删了，强制用 Linux 驱动跑。
后来我们给 ESXi 6 做二次开发的时候，测试环境你猜我怎么搞的？底层装一个 ESXi 5.5 ，里面开虚拟机，虚拟机里装 ESXi 6 ，再在虚拟机里开虚拟机跑系统，好了，不炸了。
哎，这堆破玩意儿贡献了我好多的加班时间，想起来就火大。

确实，这东西就是靠运维团队（比如我们）来撑起来的。只要客户永远不碰这个稀烂的管理界面，永远不需要 SSH 连上去看 VMFS 里那堆文件，任何需求只要给我们打个电话，我们来帮他对接 VMware ，那这套系统用起来就挺不错的。我们收费也不贵，一年几万美元的样子，钱到位了什么都好说。

最后我再来问你，PVE 什么时候变成家用的玩意了？
「 Proxmox VE is a complete, open-source server management platform for enterprise virtualization.」
大哥看到 enterprise 了吗？
我现在副业帮人一起运营 VPS 服务，一半的机子跑 solusvm 一半的机子跑 PVE ，PVE 稳得一批。人家底层是 Linux ，你说 Linux 是家用级吗？我怎么觉得比 VMkernel 靠谱呢。

你说的「企业级不用 VMware ，难道去用 PVE 」我觉得只说对了一半。不是企业级用 VMware ，而是传统行业的企业级用 VMware 。科技公司的虚拟化大都基于 KVM 。我司对接的是那些传统行业的大企业，比如律所，货运公司，百货公司，医院，这些企业会大量用到基于 Windows Server 的大型环境，比如我们隔壁城市医院的整套医务系统跑在 80 多台 Windows Server 上，这种环境才需要用 VMware 的集群来承载。又比如普通公司，域控+Exchange+Sharepoint+Dynamics AX 的架构，才要用 VMware 来跑。

科技 /互联网公司的运行环境肯定是 KVM 为主的，至于在 KVM 上面跑的是 OpenStack 还是 PVE 还是古典的 libvert ，那也只是控制面板的问题。毕竟当我们说用 PVE 的时候，我们指的是用 Debian 当操作系统，Linux 当内核，KVM 当 Hypervisor ，PVE 当控制面板。

哦，刚想起来，VMware 的那套 HTML5 的管理系统，出过好多次 RCE 漏洞呢。
不用账号密码可以直接以管理员身份登录呢。

[CatCode]

@msg7086 @documentzhangx66 我遇到过最大的问题是：之前在我司的一台内网测试机上装了 PVE ，然后创建了一个虚拟机（物理机是双 CPU 的，所有核心全给虚拟机了），然后跑编译，总是跑着跑着虚拟机内核炸了，必须 ssh 登 PVE 来 kill 虚拟机进程。原因不明。
但是装 ESXi 就好了，一直没出过任何问题。
---------------------------
PVE 对于我而言，感觉一些 UI/UX 细节还是不如 VMware 。例如虚拟机 BIOS 的启动项配置失误，开机进了 PXE （开机->PXE->内网没有 PXE 服务->重启->PXE 循环），这个阶段想给虚拟机强制关机，PVE 就很困难。

[Agre]

@Agre #31 二三线品牌，还算稳定

[knowery]

小白，刚用 PVE ，感觉很稳定，IKAUI+OP+DEBIAN ，J1900-8G-240G ，家用 10-15W ，一天半度电

[nilai]

@msg7086 说得在理

[ety001]

我是 Dell R730xd ，E5-2680 v3 *2 + 256G 内存 + 若干硬盘 + 1060 显卡。
USB 扩展显卡只需要直通 USB 设备即可，难度比直通 PCI 显卡简单好几个量级。
如果还想玩大型游戏的话，还是得折腾 PCI 显卡直通。

[photon006]

@Agre 这性价比好高，1200+

[ropon]

@Agre 耗电量如何 7*24 小时开机么

[hanssx]

@itgoyo 握手，没想到有同道。
@Agre
@ety001
感谢两位老哥提供配置


@documentzhangx66
@msg7086
两位老哥别吵啦

[documentzhangx66]

@CatCode 总之是这样的：

虚拟化兼容性、功能，VMware 肯定是最强的。msg7086 说他的客户 VMware 老炸，我问他原因，你看到没，都是客户自己的问题。连个 UPS 都没有。这就类似于，没经过 Oracle 的培训，却去管理 Oracle 一样，不炸就奇怪了。

但是，如果是跑在一些 VMware 不支持的家用级硬件上，PVE 可能是个更好的选择。另外，PVE 的底层是 KVM ，对于计算密集型来说，性能可能会比 VMware 更好。

[documentzhangx66]

@msg7086

你客户的 VMware 经常炸，原因是在于，VMware 太复杂，你的客户又没经过整个培训与认证，那么不炸才奇怪，炸了反而正常。

就像你说的，你的客户，机房电力供应会出问题，那么连 UPS 都没配，不炸才奇怪。

另外别的问题，你的客户没买正版吧？没买正版，不打补丁，遇到一些小问题，也是很正常的。

[documentzhangx66]

@hanssx 没吵，只是正常讨论交流。

[CatCode]

@documentzhangx66 我不是很理解为啥计算密集型 KVM 性能可能会比 VMware 更好。

但针对其他的方面我也说两点：
1. 我司的那台测试机是老机器了，ESXi 只能装 6.7 ，7.0 报兼容性问题。所以在那段折腾的时间就感受到了 ESXi 对硬件的严苛要求。
2. 我好奇 PVE 对高版本内核的兼容性：比如 PVE 的内核是 5.4 ，我开个虚拟机去折腾 Arch Linux 跑上了 5.17 。这俩会不会打架？（我不是说我司测试的 PVE 客户机炸内核吗？当时 PVE 的内核还在 4.x ，我们的虚拟机内核是 5.4 。当然也怀疑是 NUMA 相关的问题。但没有继续调查了）
3. 我司的大部分机器也是没有配置 UPS 的（毕竟垃圾公司）。我个人认为非关键应该、高负载应用，没有 UPS 的情况下用 ESXi 也不是不行。

[documentzhangx66]

@CatCode

1.每种虚拟化，都有自己的优劣。

2.VMware 的最大优势在于功能多 + 管理方便。

3.VMware 底层虚拟化技术，在计算上，不如 KVM 高效。

4.PVE 的底层是 KVM 。

[documentzhangx66]

@CatCode

1.你们开发，真的需要 ESXi 、PVE 、Hyper-V 这种彻底的虚拟化？如果 Docker 这种半虚拟化 能满足要求，用 Docker 比 ESXi 、PVE 、Hyper-V 性能高一个数量级。

2.如果一定要用彻底的虚拟化，能用 ESXi 就最好用 ESXi ，用不了才用 PVE 。

3.UPS 并不一定需要那种很贵的。能撑几分钟的几百元普通家用的也行。关键一定要几分钟的关机时间，这非常重要。

[CatCode]

@documentzhangx66 主要是我们很奇特地全员歧视 docker ，大家的想法是宁愿用虚拟机这种重的，也不用 docker （笑）
其次是我们不是用虚拟化跑应用，主要还是测试，在各种花里胡哨的环境上测试、以及测试一些骚点子（瞎折腾）

[documentzhangx66]

@CatCode

1.测试肯定是 ESXi 、PVE 这类彻底虚拟化的系统更方便，有一种玩法是：

高主频 CPU + 高主频内存条 + m.2 nvme SSD raid 0 ，可以打在线快照（开机时打快照），极端方便。比如你打个在线快照，接着 rm -rf /，然后立即恢复，机器配置好，甚至可以做到秒级恢复。这个问题上，Docker 就不合适。

2.但是，高性价比、快捷地部署生产系统，docker 却又比是完胜。因为目前虚拟化发展到现在，出现了各种妖魔鬼怪的平台，除了大家在上面提到的 ESXi 、PVE 、Hyper-V 之外，还有阿里云、腾讯云、百度云、华为云、电信天翼云、联通沃云、移动云、深信服信服云等等。

这些云中，很多云为了设置门槛与壁垒，不支持通用虚拟机文件，互不能导入整体虚拟机，有些云甚至连 ghost 备份出来的 xx.gho 这种磁盘文件，都无法进行恢复。

所以，这种情况下，docker 就成了快速导入、导出、部署的最佳选择了。这么多云，今天这个云做活动，明天那个云又降价，后天这个云又涨价。用 docker ，甚至可以做到像高频交易一样，在高性价比的云里反复横跳，给公司或工作室节约大量的资金。

[msg7086]

@documentzhangx66 你太想当然了，各种假设都是拍脑瓜想出来的，这还怎么讨论下去。

1. VMware 出现过多次紫屏，那都是自己崩溃的。
我们生产用的硬件都是 HP Dell 超微的全新原装服务器，不是几百块的洋辣鸡，就是全新出厂拿过来的机器，最便宜也是 4000 美元一台，我们卖给客户的是 9500 美元一台（成本价），要求比较高的客户会直接定制高端服务器，经常出问题的一家客户用的就是四路 E7-8890 配了 3TB 内存和 4 个全闪盘柜，花了多少钱我没问，但是不会是便宜货。就这样的生产环境也遇到过好几次紫屏的情况。

2. 机房电力供应出问题是怎么推断出 UPS 没配的，你不会以为只要有 UPS 就不会遇到断电的情况了吧？
先说我朋友在加州的机房，光我知道的就已经断过两次电了，而且是全机房断电。你以为他们整个机房没配 UPS ？
再说说最近我司在加拿大的机房，也是好几个房间断电，原因是维护 UPS 的时候配电板莫名其妙炸了，电也没有切到机房自己的发电机组，导致整个区域 sev1 事故。

3. 正版的问题，这个我实在不知道怎么吐槽了。上面我都告诉你我们和 VMware 签约的价格了，你跟我说没买正版……你猜猜买了全新品四路 E7-8890 的客户会不会区区 5000 刀的 vCenter 都不想买 →_→

[msg7086]

说实话，你的回复给我的感觉就是虽然你没怎么深入研究过 VMware 全家桶但是你就打心底里相信他们的系统稳得一批，不会出问题。像我做了五六年的 VMware 二次开发和运维，装过起码几十次 ESXi 和 vCenter ，处理过大大小小各种 incident 的人的亲身体验，你是不信的，就觉得要么是我们用盗版，要么是机房不装 UPS 。你这已经不像是在正经讨论了，完全就是在找机会挑刺了。你完全可以分享你自己的 VMware 使用经验，让我们看看「经过培训与认证」以后 VMware 就不会出问题的场景。或者你可以分享一下你搭建机房的经验，怎么设计电力供应冗余系统可以让服务器保持百分百 SLA ，说不定我司可以请你来设计我们全球那十几栋新建的机房呢。

[documentzhangx66]

@msg7086

1.我想当然？我拍脑瓜假设？？别双标好吧老弟？

你在 34 楼提出：就稳定性来说 vCenter 和 PVE 真的是不能比。你这不是想当然？你这不是拍脑袋假设？然后我在 35 楼问你要证据，你给过没？


2.你真的回答问题了？

你在 34 楼提出：客户大概有 20%的时间是 vCenter 炸了、VMFS 也经常炸，我在 35 楼问你具体原因，

你在 36 楼说 ESXi 会紫屏崩溃，你觉得这是回答？你要想怪 ESXi ，你得找出 ESXi 为啥紫屏崩溃。找出原因后还要进行 AB 测试来验证这种说法。


3.你真的懂全责划分？

连机房电力供应出问题，导致丢数据，导致虚拟机损坏，你把这锅丢给 VMware ？


4.你真懂机房供电问题？

你说 UPS 的配电板挂了，服务器就断电，那请问服务器的冗余电源是怎么接的？市电与发电机就没独立的配电板了？

所以我在上面说了，客户不专业，没经过培训，配个电都不专业，这锅还甩给 VMware ？

正经的机房，是多路供电的，这你知道吗？至少要有双路市电、发电机、UPS 。3 路供电不说百分百 SLA ，总比你说的那些炸一路就全炸的客户机房要强吧？


5.当你不了解别人的情况下，别轻易觉得自己咋滴咋滴。你只是给 VMware 做二开，只是装过 ESXi 与 vCenter ，说白了你就是个产品用户而已。我都不好意思说我大二在不知道 VMware 的情况下，就把它最初的那一套虚拟化、自动化伸缩扩容的东西设计出来了，你明白用户与设计者的差距吗？

[msg7086]

@documentzhangx66 那可真抱歉了，我没应聘 VMware 。说不定哪天我跳槽过去了可以帮他们调试调试内核。

至于机房供电，这个我不懂，但是我没明白你的意思，你说「不说百分百 SLA 」，那到底服务器的供电能不能做到百分百不断电？如果能做到，为什么说「不说百分百 SLA 」？如果不能，那么 VMware 遇到断电就会丢数据，是不是意味着机房就不应该用 VMware 了？我没看懂这里面的逻辑是怎么样的，想听听你的分析。

[msg7086]

顺便我要提醒你一句，这个帖子从头开始讨论就是关于家用虚拟化环境的。
我一开始提的是 ESXi 功能被 PVE 吊打，因为这两者都是对家用环境免费的。
但是从 27 楼开始你把整个主题带到了 VMware 全家桶几千甚至几万美元的产品上去。
你说 ESXi 和 PVE 比不恰当，要拿 VMware 全家桶去和 PVE 去比。
好家伙，几千美元一套的软件和开源产品比就恰当了。

再往下的论点就很奇怪了，断电丢数据好像是理所当然的事情一样。企业级的软件，就说 Windows Server 或者 RHEL 这些产品，他们会断个电虚拟机就点不亮了，文件就丢了？我们开发企业级软件的时候都要考虑 Resiliency ，怎么就 VMware 不需要考虑这些问题？

再往下就更奇怪了。你做过虚拟化设计，这和我说 VMware 做得烂有什么关系？
这就好比，你是微软员工，搞 Hyper-V 的，我是做 VMware 二开的。我说 VMware 代码写得好烂啊。结果你来一句，老子做 Hyper-V 的时候还不知道 VMware 呢，所以你 VMware 用出问题肯定是你的问题。

啊？这逻辑属实给我整不会了。

[documentzhangx66]

@msg7086

1.软件问题：

1.1 软件不可能是 100%稳定的，无论是 ESXi 还是 PVE 或者别的什么。

1.2 正版软件比盗版稳定，主要是 3 点：有补丁、有培训、有厂家技术支持。

1.3 软件系统有个通病，功能越多，越复杂，测试调试也越麻烦，测试能覆盖的百分比越低，软件系统也越不稳定。一旦炸了，就越容易丢数据，越难恢复。

特别是 VMware 企业级的备份与恢复，还是 EMC 提供的技术支持，这种跨了厂子，更容易出问题。EMC 的备份软件来备份 VMware ，以前老版本会小概率失败。

VMware 全家桶的功能比 PVE 要多得多，如果从功能数量上来说，VMware 全家桶，如果炸了，说不定比 VirtualBox 还要麻烦，根本就不需要和 PVE 比。

就像我回复楼上某个弟兄，如果能用 Docker ，尽量别用虚拟化。


2.供电问题：

2.1 机房供电理论上无法做到 100%保障，就像数据备份一样，谷歌推荐 1 份数据至少要有 3 个副本，也只是说企业级常用情况下足够了，并不是 100%安全。

2.2 你客户的机房供电问题，是你客户的不专业造成的，这事与你没啥关系，你也不需要帮他们洗。

2.3 你的客户，我盲猜要不是不专业，要不就是为了高性价比，做成了以下结构：

一路市电 + 发电机 -> UPS -> 机架 -> 服务器，这样导致只要一环炸了，服务器就全炸。而且服务器的两路电源也成了摆设，这种结构早期国内大多也是这种情况。

注释：正规服务器至少有 2 个电源，任意一个电源单独工作都可以给整个服务器供电，任意一个电源挂掉都不影响服务器正常工作。

但这种结构，优点也很明显，就是节约钱，并且各种半吊子电工也能搞定。

后来专业的商业机房供电，一般是 2 路，结构如下：

市电 A + 发电机 A -> UPS A -> 机架 PDU A -> 服务器电源 A

市电 B + 发电机 B -> UPS B -> 机架 PDU B -> 服务器电源 B

注释：PDU 是专用于机柜的高档插排。

这种结构，就算是炸一路，服务器也能正常工作，虽然不是 100%保障，但我目前还没听说过，这种结构导致全炸事故。


3.逻辑问题。

3.1 我在 27 楼引入 VMware 全家桶这个概念，是因为你在 23 楼拿 VMware ESXi 与 PVE 比较。我认为这种比较，对 VMware 不公平，因为它们不是对等产品。

3.2 断电丢数据，本来就是理所当然的事情。因为除了系统设计上支持断电之外，没有哪个系统与软件，能保证自己断电后仍然正常，包括地球上 TOP 1 数据库：Oracle 。

3.3 一个系统，在设计与实现上，是可以支持断电不丢数据的，但这是一个系统工程，需要从硬件、操作系统以及软件、数据库等各层次都要进行专门设计，甚至硬盘也要修改业务逻辑，并且系统整体性能会很低，不丢数据也并不是说业务没问题，掉电前最后一部分业务也会快速失败。这套系统因为性能低，所以在经济上不可行，大部分通用系统与软件，不会去这样设计与实现，而是希望外部环境去保障不断电，同时通过备份来保障数据安全性。目前很多系统甚至有一种叫 CDP 的技术，每隔 3-5 秒进行一次差异备份，然后每小时进行一次差异备份的汇总。

3.4 我说我做过虚拟化设计，是针对你在 54 楼，你说你做了很多年的 VMware 二开、运维、安装、处理问题。你想通过这些证明你对 VMware 问题比我熟悉，质疑我的专业性，质疑我是在胡说八道，我才解释这些，来说明我是在认证和你讨论。

[readonly]

我就 win10 做宿主机，vbox 开 openwrt 和黑裙，稳定运行两年多了，没什么问题，本身主力就是用 win10 ，宿主机就是 win10 了没有所谓的性能损耗，而且 win10 驱动什么的完全不用折腾，虚拟机备份这种直接移动硬盘文件复制粘贴完事，维护成本超低，主力 win10 性能无损耗，想不明白天天搞 pve 和 esxi 的，这些都是企业级应用，家用老老实实 win10 做宿主

[Agre]

@ropon #43 放公司，平常 CPU 火力全开。

[Agre]

ESXI 也用了一段时间，ESXI 要说的是，安装包要自己用官方工具加驱动，陈年老卡 gtx1030 显卡在 esxi 也不能直通，最后放弃了。Add-EsxSoftwareDepot ./net55-r8168-8.045a-napi-offline_bundle.zip
PVE 开箱即用，驱动直通都没问题，除了能装虚拟机，还提供 lxc 容器，非常实用。

[nutting]

@collo 你有用双网口的 pci-e 卡吗

[sohunjug]

@hanssx @collo 要不要一起交流交流 ZXJ2aW5fanVtYm8K

[hanssx]

@chocotan 老哥们有配置清单吗？硬件还停留在上个台式机：i5 6600+gtx50 的乔思伯 v3 itx 主机上面。

@Agre 老哥你这配置不大敢用啊，哈哈，想稍微稳定一些

话说，选 i7 12700 还是 e5 这种服务器 U 好些呢？

[hanssx]

@sohunjug 老哥在这上面交流吧，有记录，微信太难用了，我这 Linux 都不上微信。。

[clockwise9]

@readonly 我家用 win10 做宿主，但是不能彻底禁用自动更新，每隔两三个月就会重启一下，请问老哥怎么解决的呢？

[iShao]

@clockwise9
dism++禁用了更新不行吗？ 我没试过，因为我还没用到
最近配了台机子 12400 的 cpu32g 的内存 准备弄个家庭存储机 小服务器，看了好多最后还是准备上 win10+vmware 虚拟 Linux 了

[clockwise9]

@iShao 以前没听说过 dism++，下次试一下。前段时间搜到在 services.msc 关掉自动更新，还在持续监控中，看看能坚持多久不重启。

[wwqgtxx]

@iShao 亲测 dism++禁用的不管用
@clockwise9 services.msc 中关闭的过一段时间还会被系统重新打开
目前亲测最有效的方法是去组策略中 “管理模板” “Windows 组件” “Windows 更新”下的“删除使用所有 windows 更新功能的访问权限”设置成“已启用”，“配置自动更新”设置为“已禁用”
配置完已经放置半年没有更新、重启过了

[hanssx]

@iShao 机子整体配置能说一下嘛，比如机箱啥的，我的乔思伯 U3 不知道还能不能打。

[iShao]

@hanssx
自己给要配的电脑定位是 HTPC 家庭影音娱乐存储机和小型服务器，以解决自己电脑存储空间不足以及需要常开 Linux 虚拟机的问题，唯一犹豫的就是到底是 PEV 下 Windows+Linux 还是 Windows+VMWare

CPU 12400, 主板华硕 B660M 重炮手，32G 内存。。。希捷，西数的七块氦气盘，PCIE 转 SATA 扩展卡，550W 振华电源

机箱的话，因为我自己不需要热插拔， 所以买的八盘位 MATX 机箱并没有背板还是能接受的

之前找机箱的时候考虑过乔思伯 N1 ， 外观是真的不错， 但是最后考虑扩展走线什么的，放弃了， 在 tb 上找的一家带八盘位的 MATX 机箱， 缺点是没有背板走线

[iShao]

18 号购买配置到现在还没搞定， 因为疫情，内存 M2 硬盘一直无法配送， 不知道要等多久了

[hanssx]

@iShao 谢谢老哥回复，我目前肯定是 PEV 下 Windows+Linux
主板：我看主板大部分都是配的微星迫击炮，我也准备配这个。
硬盘：氦气盘学到了，刚去搜了下 jd 只有 10T 的了，你买 7 块这么多吗？固态盘有啥推荐的吗？ PCIE 转 SATA 扩展卡主要是用来扩展硬盘？你需要这么多硬盘嘛，我感觉我 1T SSD+5T HDD 目前就够了，因为目前也不是用来存储的，没有太多存储需求。
机箱：我看了下老哥说的乔思伯 N1 ，硬盘位 5 个挺多，但是它这好像没有显卡位？看了下是半高显卡？这能装的显卡太局限了，后面要直通给 Windows 的话，显卡不知道能用哪些卡。

[iShao]

@hanssx 是啊，影音资料很多，西数买的 14 18 的，希捷买的 16 ，都在淘宝买的，国行代理，五年质保靠谱的，一个主板上一般就 4-6 个 SATA 口，所以买个扩展卡， 迫击炮 CPU 是双 8pin 供电，有点厉害了
固态买的 pm9a1 做系统盘，加了个 sn770 扩展下
乔思伯 N1 也是定位存储机，装显卡我也没考虑过，CPU 核显够了

[hanssx]

@iShao 感谢感谢。

[readonly]

@clockwise9 用 dism++关了自动更新，不过我为了安全，也是得几个月手动更新下