公司有台服务器,系统是 windows server 2019 数据中心版。里面放了很多数据集,音视频,文本、很多小文件,磁盘有没有做 raid 不清楚,我入职之前这服务器就存在了,而且塞了很多数据了。现在每次拷数据进去,如果移动硬盘的小文件过多,服务器的文件资源管理器直接卡死,感觉是有服务在检索移动硬盘里的文件,排查的时候发现不知道哪个哥们装了个 everything 内存占用 60%,卸了之后发现资源管理器卡顿消除了。还有拷数据的时候为了跑满带宽,我都是先打成压缩包再复制,虽然压缩也比较费时间但是总体来说要比直接复制快一点。我想问下现在 AI 这么火,存储数据集的服务器都是怎么设计的,传输时有大量小文件需要寻址,有时候可能还需要在服务器进行文件检索。
1
MrGba2z 2023-08-08 11:01:12 +08:00
HDD 还是 SSD ?
我自己家全固态存文件服务器 之前简单测试过下没啥问题 * 几十万张的色图包(我真没看,纯测试用的)复制来复制去 * 整个 PC 机系统盘带游戏等 1T 直接复制备份 (网络是 10G 内网) |
3
opengps 2023-08-08 11:24:19 +08:00
首先是硬盘格式,格式化时候需要选最小的块,否则可能极大浪费存不下文件
其次是资源管理器的操作模式天然就很卡,反倒是你可以直接精确控制程序写入或者读取文件不会卡死 |
4
tool2d 2023-08-08 11:45:22 +08:00
我服务器挂的是固定大小的 VHD ,速度也很快。
|