V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
ksc010
V2EX  ›  问与答

请教下 minio 集群,上传 100G 左右的小文件后,感觉速度有些慢

  •  
  •   ksc010 · 2023-12-12 23:41:33 +08:00 · 1157 次点击
    这是一个创建于 365 天前的主题,其中的信息可能已经有所发展或是发生改变。

    比如 mc ls xxxx/full/201202/ -r 可能会卡住需要半分钟的时间

    然后执行
    mc admin trace -a sf

    有大量日志刷新 内容如下:

    2023-12-12T23:34:30.694 [SCANNER] scanner.ScanFolder minio:9000 /data4 xxxx/full/full/20220911/8991b39bc48df9814bf0bca3c515794c3bff6e52.jpg 3.737023ms 2023-12-12T23:34:30.700 [OS] os.OpenFileR minio:9000 /data4/xxxx/full/full/20220911/a60dde51fa81cb1fdc934d0458630d20cdfbca38.jpg 66.285µs 2023-12-12T23:34:30.700 [OS] os.OpenFileR minio:9000 /data4/xxxx/full/full/20220911/a60dde51fa81cb1fdc934d0458630d20cdfbca38.jpg/xl.meta 26.689µs 2023-12-12T23:34:30.700 [SCANNER] scanner.ScanObject minio:9000 /data4 xxxx/full/full/20220911/a60dde51fa81cb1fdc934d0458630d20cdfbca38.jpg/xl.meta 7.482286ms

    感觉是 minio 在后台异步处理一些任务,若是这样的话,怎么能看到这些任务完成情况

    3 条回复    2023-12-13 11:26:54 +08:00
    rwecho
        1
    rwecho  
       2023-12-13 08:11:30 +08:00
    我们用了好几年的 minio ,并且数据量都在几十 t ,会不会版本问题?
    Just4L
        2
    Just4L  
       2023-12-13 09:25:56 +08:00
    minio 剩余空间大么,网络抖动大么
    ksc010
        3
    ksc010  
    OP
       2023-12-13 11:26:54 +08:00
    @Just4L 局域网,一共 4 个 5T 的硬盘 至少得有 10T 得可用空间吧

    另外我发现,Bucket 显示得 对象数量 和 占用空间数量 在不断增加,大小趋近于我真实上传的数据量

    刚才又看了下 还在”跑“ 跑了一夜了还跑完 现在空间占用显示 100G 了 ,昨天晚上是 40G 多
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2399 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 18ms · UTC 15:32 · PVG 23:32 · LAX 07:32 · JFK 10:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.