V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
phpfpm
V2EX  ›  问与答

自建千万级小文件 S3 存储求建议?磁盘,文件系统,软件,组织方式 etc

  •  
  •   phpfpm · 2023-08-31 09:25:50 +08:00 · 1128 次点击
    这是一个创建于 450 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现状

    目前文件数量~10M ,年新增 3M ,总容量~5TiB (年新增 1.5TiB ),单文件平均尺寸 500KiB ( stdev=900KiB ,有小的几十 KiB 的,也有几 MiB 的大文件)

    目前文件存放于 qnap 的 QuObject 服务下面(可以认为是一个兼容的 S3 的商业实现)

    文件存储结构是 md5 前两位+md5+扩展名 例如 e10adc3949ba59abbe56e057f20f883e.jpg 会被存储为: /e1/e10adc3949ba59abbe56e057f20f883e.jpg

    算下来有 256 个文件夹,每个文件夹~40K 个文件

    问题

    之前选择威联通去存放,是因为这台威联通的混合式 raid ( hdd+ssd )我以为可以提高性能和存取效率,虽然用下来一年多还是挺稳定的,但是本身这台 TS-963N 还是挺弱鸡的,想迁移出去。

    目前已有的设备和资源:

    1. windows nas, 有一个 80T raid6 SAS HDD 的磁盘
    2. 分区格式还没确定,exfat/ntfs 可选
    3. 因为这台 NAS 上还有其他服务,暂时不方便迁移到 linux
    4. S3 软件
    5. 选的是 minio
    6. 老版本的 minio 是支持 legacy fs ,就是文件存储的物理路径和实际路径是一致的
    7. 文件目录
    8. 目前是 1 级 hash ,可以配合业务修改为 2 级 hash
    9. /e1/e10adc3949ba59abbe56e057f20f883e.jpg =>
    10. /e1/0a/e10adc3949ba59abbe56e057f20f883e.jpg

    想问下基于以上的信息还有啥好的建议么?

    1 条回复    2023-08-31 09:48:13 +08:00
    caryqy
        1
    caryqy  
       2023-08-31 09:48:13 +08:00
    看看 seaweedfs
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2707 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 12:32 · PVG 20:32 · LAX 04:32 · JFK 07:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.