求推荐 ZFS 存储池去重 vdev 用的固态

[efsg]

如题，有人说去重只是索引，不需要太大的容量，只要性能强就行，所以我应该选择 2 个 512GB 的 SATA 固态还是 2 个 280GB 的傲腾用于去重？

[aloxaf]

跑过 zdb -S 了吗，确定值得去重？

而且确定需要块级去重吗，如果是重复的照片、视频，rmlint 这类工具就能帮你搞定了。

[HOMO114514]

小海豚 6530 、CM6-R 、镁光 7500 、大普微 R5101 这种 1.92T 的读密集型盘足矣，他们就是为了这种负载设计的

[adrianzhang]

什么也不如大内存管用。

[xustrive]

@adrianzhang #3 那得有个 UPS 。

[adrianzhang]

@xustrive 用固态一样也得用 UPS ，写并不直接落盘。

[efsg]

@adrianzhang 直接开启去重太吃内存而且影响性能，所以我才想能不能加去重 vdev

[adrianzhang]

@efsg 任何对 ZFS 有管理经验的人都不建议开启去重，即使你上了大内存和大固态，会发现去重仍将大幅度脱慢吞吐，原因是去重需要构建一份文件列表在内存里，且不会保存全部，不管内存多够用，那么在吞吐时候不可避免要去要求磁盘 IO ，HDD 的 IO 一般在百级别，SSD 在千级别，哪个都不够用。

[efsg]

@aloxaf 跑过了，现在的数据量没办法手动去重，如果 2 个 512GB 的 SATA 固态或者 280GB 的傲腾就能搞定我觉得是值得的

root@truenas[~]# zdb -S -U /data/zfs/zpool.cache tank
Simulated DDT histogram:

bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 104M 13.0T 13.0T 13.0T 104M 13.0T 13.0T 13.0T
2 7.19M 920G 919G 919G 15.4M 1.93T 1.92T 1.92T
4 417K 52.1G 52.0G 52.0G 1.84M 236G 235G 235G
8 16.3K 2.03G 2.02G 2.02G 166K 20.7G 20.6G 20.6G
16 7.30K 927M 916M 916M 129K 16.0G 15.8G 15.8G
32 620 49.4M 34.1M 36.2M 22.6K 1.89G 1.40G 1.46G
64 50 5.01M 4.80M 4.87M 4.51K 461M 441M 447M
128 11 1.00M 482K 537K 1.82K 158M 73.1M 82.8M
256 4 130K 130K 154K 1.70K 60.4M 60.4M 70.2M
512 1 512B 512B 8.53K 848 424K 424K 7.06M
1K 3 1.50K 1.50K 25.6K 4.67K 2.33M 2.33M 39.8M
2K 1 512B 512B 8.53K 2.41K 1.20M 1.20M 20.5M
4K 1 128K 128K 128K 7.65K 979M 979M 978M
64K 1 512B 512B 8.53K 100K 50.1M 50.1M 855M
Total 112M 14.0T 13.9T 13.9T 122M 15.2T 15.2T 15.2T

dedup = 1.09, compress = 1.00, copies = 1.00, dedup * compress / copies = 1.09

[aloxaf]

@efsg #8 1.09 的比率就别去重了吧，我觉得真划不来，zfs 的去重没有后悔药，想关掉这个功能只能重建数据集

建议先用 rmlint 跑一遍效果如何