求助下运维大佬关于存储文件 rsync 拷贝到硬盘，文件为什么变大了

[smallfish1990]

事情是这样的，周末加班

原存储上 800G 的备份文件（冷备文件），因为设备授权问题，需要拷贝出来，于是乎买了几块硬盘做成了 raid，空间 2T，想着应该错错有余了吧，结果 rsync 一晚上，现在 2T 硬盘占满了，文件还没拷贝完成。。。

都是 ext4，文件块也都是 4096.。。。

求助

[jim9606]

我想到的两个原因：
1.符号链接（这个通常没问题）
2.硬链接
3.稀疏文件
4.rsync 了虚拟的文件系统，例如 /proc 这种

[ohao]

rsync 的话 你要贴附带的参数 别人才能告诉你原因

不然使用， 建议使用 rclone 的 SYNC 同步模式，比较傻瓜化

如果密集型小文件居多，使用 sersync （也是调用 rsync ），但是速度快很多

[smallfish1990]

@jim9606
@ohao 谢谢回复

rsync 参数 rsync -avP --ignore-existing /xxx root@ip:/xxxx

[smallfish1990]

@jim9606

1：这个应该没问题
2 、4：A 机器挂载的存储，B 机器硬盘 raid，A 拷贝到 B
3 、稀疏文件没接触过 TAT

[msg7086]

我记得硬链接要加 -H 。
Sparse 文件要加 --sparse 。

你可以对原始数据做一下 du -sh 看看有多大，然后应该就能知道问题在哪了。

[smallfish1990]

@msg7086

800G 是打散了的分片文件（可以理解成很多小文件），

怀疑大概率是稀疏文件导致的，硬链接应该不存在

[ryd994]

@smallfish1990 稀疏文件不是稀疏分布的小文件
而是不完全分配的大文件。比如我建了一个 2G 的稀疏文件，我可以只用其中的 2M，这个文件在支持稀疏文件的文件系统上就只占 2M 。程序读取已用部分以外时读到的是零。
rsync 有个参数，如果正确使用，就只传输用了的 2M，否则直接一个个字节读过去，给你传了个 2G 的，而且到了对面就丢失了稀疏的性质

[smallfish1990]

@ryd994 谢谢科普

@msg7086

rsync --sparse 是传输整个稀疏文件空间，不是传输实际数据大小