V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
BeliefanX
V2EX  ›  NAS

有没有了解 ISCSI 的大佬?

  •  
  •   BeliefanX · 283 天前 · 3431 次点击
    这是一个创建于 283 天前的主题,其中的信息可能已经有所发展或是发生改变。

    前段时间脑袋一热,买了一台小米的万兆路由,然后对其它设备也进行了一并更新,NAS 加了万兆光口,又买了台 Mac mini 也选配了万兆网口,改装完成后,在 mac mini 上用 iperf3 测速也能跑到 9.4Gbps ,用 SMB 共享文件读写也能到 900 MB/s 左右。

    因为 mac mini 硬盘只有 256G ,所以想通过 ISCSI 把 NAS 硬盘挂载到 Mac 上,但是配置好之后速度却只有 50MB/s ,我以为是 unraid 的问题,所以把 NAS 系统又换成了 TrueNAS ,但在 ISCSI 下速度也只有 200MB 左右,跟 SMB 速度差距非常大。

    后来我又推测是路由器问题,买了 Qnap 的万兆交换机,问题依旧。

    有没有大佬帮忙分析一下问题出在哪了,iperf3 与 SMB 速度都是正常的,只有 ISCSI 速度有问题。

    我的 NAS 系统是 Unraid 。

    30 条回复    2023-08-31 09:28:03 +08:00
    steveshi
        1
    steveshi  
       283 天前
    macOS 的 iSCSI ?用 daemon tools 挂载的吗?性能挺糟的。现在 macOS 上没有什么好的 iSCSI 软件
    GHvyuR7N
        2
    GHvyuR7N  
       283 天前 via iPhone
    之前折腾的时候发现,macOS 上 iscsi 便宜那个性能叫 globalsan 的只有这么点儿,要买那个很贵 Xtend 的才行。不过为啥一定要 iscsi 哇...
    dode
        3
    dode  
       283 天前 via Android
    觉得 nfs 比较好
    hahiru
        4
    hahiru  
       283 天前
    群晖的 iscsi 还行。性能比较达标用好久了。
    启用巨型帧。MTU 设为 9000 。
    documentzhangx66
        5
    documentzhangx66  
       283 天前
    都是 Linux ,干嘛要用 iscsi ?直接 SSHFS 一步到位不是更好嘛?
    xiamx
        6
    xiamx  
       283 天前
    @documentzhangx66 OP 都说了要 iSCSI 了 肯定不能接受 userspace sshfs 的速度
    sNullp
        7
    sNullp  
       283 天前 via iPhone
    是什么给了你们 iscsi 性能好的错觉…iSCSI 的特点是暴露了一个 raw block device ,不需要这个特性只需要文件层面操作的话 nfs 最快。
    Jirajine
        8
    Jirajine  
       283 天前
    @sNullp block device 应该是更简化的,samba/nfs 等共享文件系统需要考虑多端读写锁、文件权限等问题,如果性能更好的话那应该是文件系统实现没有考虑通过网络信道开销过大导致的。
    如果 iSCSI 性能不行的话,可以试试 nbd ,只在 qemu 虚拟机本机通过,局域网性能如何需要实际测试。
    sNullp
        9
    sNullp  
       283 天前 via iPhone
    @Jirajine block api 肯定比 file api 要慢。简单!=快。商业存储都需要专门的 iscsi 调参。
    Jirajine
        10
    Jirajine  
       283 天前
    @sNullp 那应该是文件系统的问题,不过好像没有专门为通过网络使用的 block device 优化的文件系统?
    如果同时要性能和避免复杂度的话,不如直接起个 ftp 服务,并且测试一下传输速度,应该不会比 samba 慢,然后再用 rclone 挂载。
    sNullp
        11
    sNullp  
       283 天前 via iPhone
    @Jirajine 还是那句话,用 iscsi 的原因是非文件操作。有文件系统就不要用 iscsi 。
    sNullp
        12
    sNullp  
       283 天前 via iPhone
    @Jirajine ftp 不可能比 smb 快。最快的网络文件系统是 nfs ,就不要自己再乱试了。
    Jirajine
        13
    Jirajine  
       283 天前
    @sNullp
    > ftp 不可能比 smb 快
    这可不一定的,理论上限不等于实际表现,实际如何需要实际测试。smb 太复杂了,参数太多,而且对客户端也有要求。
    以我自己的场景为例,在 Android 上访问 smb 共享,在支持版本受限、且参数也不能调的情况下,smb 的速度非常不理想,反而 ftp 不需要任何配置就能直接跑满 IO 瓶颈。nfs 客户端支持的很少,有高效实现的客户端就更少。
    litguy
        14
    litguy  
       282 天前
    fio 测测 iSCSI 呢
    是不是 iscsi 的延迟大了
    而你用的 io 并发度又不够
    把 fio 的 njobs ,iodepth 加大看看
    BeliefanX
        15
    BeliefanX  
    OP
       282 天前
    @steveshi 对的,但是我在 windows 上面速度也起不来,所以有点奇怪
    BeliefanX
        16
    BeliefanX  
    OP
       282 天前
    @GHvyuR7N 哈哈哈 我试试 xtend ,挂 iscsi 是因为 SMB 挂载的方式有些场景是用不了的
    BeliefanX
        17
    BeliefanX  
    OP
       282 天前
    @documentzhangx66 我学习一下,SSHFS 之前没了解过~
    BeliefanX
        18
    BeliefanX  
    OP
       282 天前
    @litguy 这个具体怎么测,可以指导一下么,之前对这个没了解,网上资料也非常少~
    BeliefanX
        19
    BeliefanX  
    OP
       282 天前
    @hahiru MTU 设为了 9000 速度也还是慢 SMB 把 MTU 设为 1500 反而速度更快一些
    fuis
        20
    fuis  
       282 天前
    iSCSI initiator 能换成 Linux 下面的 open-iscsi 吗?然后测一下速度,怀疑问题出在客户端
    vopsoft
        21
    vopsoft  
       282 天前
    smb
    支持多通道
    传输压缩
    rdma
    QUIC 协议
    BeliefanX
        22
    BeliefanX  
    OP
       282 天前
    @fuis 我试试,不知道 unraid 支不支持 open-iscsi
    litguy
        23
    litguy  
       282 天前
    @BeliefanX https://fio.readthedocs.io/en/latest/fio_doc.html 参考参考官网
    网上的文章也有很多,照猫画虎就能测了
    https://formulae.brew.sh/formula/fio 看这个网页,有苹果 M 系列的版本
    BeliefanX
        24
    BeliefanX  
    OP
       282 天前
    @litguy 收到 谢谢
    documentzhangx66
        25
    documentzhangx66  
       282 天前   ❤️ 2
    @xiamx

    Network FS 的性能瓶颈,并不在内核态与用户态这里,而是网络性能、存储介质性能,与处理器加解密性能。

    而且 SSHFS 是 Network FS 里各方面都强的选手。

    1.支持 fstab 。

    2.只暴露 TCP 22 端口,可以同时支持局域网与 Inernet ,而且方便改端口映射。这个特性秒了 SMB 。

    3.基于 SSH ,天生安全与加密。

    4.4k 随机 IO 性能不低。

    另外你肯定没去看性能评测,iSCSI 在某些评测里,连 SMB 都比不过。
    https://blog.joeplaa.com/iscsi-vs-nfs-vs-smb-2/
    Champa9ne
        26
    Champa9ne  
       281 天前
    我记得 MacOS 原生不支持 iSCSI 吧,要不你试试网线拔了插在 windows 下连个 iSCSI 测测速?感觉不一定是链路问题,搞不好使 Mac 的软件自己性能不行。
    BeliefanX
        27
    BeliefanX  
    OP
       281 天前
    @Champa9ne 在 windows 下也试了,确实是没速度,我也搜了各个平台,有很多人跟我有同样的问题~
    BeliefanX
        28
    BeliefanX  
    OP
       281 天前
    @documentzhangx66 SSHFS 能挂载成本地硬盘一样么? 比如我想开启 mac 的内容缓存,就只能在本地硬盘中开启,类似 SMB 挂载的网络硬盘都不能用~
    documentzhangx66
        29
    documentzhangx66  
       281 天前
    @BeliefanX SSHFS 连 fstab 都支持,你把内容缓存的路径改为 SSHFS 不就行了。
    xiamx
        30
    xiamx  
       240 天前
    @documentzhangx66 sshfs 已经被作者抛弃了 https://github.com/libfuse/sshfs ,这无脑推真很无语
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1165 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 23:32 · PVG 07:32 · LAX 16:32 · JFK 19:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.