V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
oska874
V2EX  ›  Linux

万兆网上使用 scp 速度只能达到千兆网的速度,为什么?

  •  
  •   oska874 · 2020-08-31 17:55:10 +08:00 · 6711 次点击
    这是一个创建于 1546 天前的主题,其中的信息可能已经有所发展或是发生改变。

    先说结论:

    1. scp 传输文件速度只有 100MB/s
    2. 用 iperf3 测试,速度能到 9Gbit/s

    两边都是万兆网,跑的是 ubuntu 18.04 ,mtu 已经设置成 9000 了。

    第 1 条附言  ·  2020-09-01 10:21:38 +08:00
    发现问题了,盘是 ufs 的,瞬时速度能到 500MB/s,真男人半分钟,就降低到 140MB/s 了。
    但是文件放到到 /run 下面,都是内存了,速度还是只有 10xMB/s 。
    18 条回复    2020-09-01 11:48:41 +08:00
    keygen88
        1
    keygen88  
       2020-08-31 17:55:37 +08:00
    网线的问题吧
    Kinnice
        2
    Kinnice  
       2020-08-31 18:02:16 +08:00
    看一下 CPU,是不是加密导致的瓶颈
    Citrus
        3
    Citrus  
       2020-08-31 18:03:55 +08:00 via iPhone
    用的什么盘?
    shicheng1993
        4
    shicheng1993  
       2020-08-31 18:08:46 +08:00
    scp 要写入硬盘吧,iperf3 没用过,是不是不需要写盘?纯网速
    superrichman
        5
    superrichman  
       2020-08-31 18:11:15 +08:00 via iPhone
    scp 要加解密,所以慢。要快的话用别的协议。
    hiyang
        6
    hiyang  
       2020-08-31 18:13:54 +08:00
    估计 nc 更快

    # 服务端 A
    HOST1$ ncat -l 9899 > outputfile

    # 客户端 B
    HOST2$ ncat HOST1 9899 < inputfile
    est
        7
    est  
       2020-08-31 18:15:03 +08:00 via Android
    scp 的实现有瓶颈。以前看过个资料。手机上不方便查之后查了给你贴下
    masker
        9
    masker  
       2020-08-31 18:21:34 +08:00 via Android
    @shicheng1993 开个服务就可以了,不需要写盘好像
    HEROic
        10
    HEROic  
       2020-08-31 18:29:50 +08:00 via Android
    scp 是从磁盘读 /写磁盘 有瓶颈 iperf 是直接内存拷。 要测速的话可以划内存盘 scp 测 (一般 centos 又 tmpfs 就是内存盘)
    sampeng
        11
    sampeng  
       2020-08-31 18:49:40 +08:00 via iPhone
    100M 如果是整数,一定不是磁盘瓶颈,更不会是 cpu,除非你 cpu 是老古董。检查参数,限速。iperf 是多大的数据包。是不是中间有 nat 等等。这个数字看起来是网络瓶颈,和其他无关。
    realpg
        12
    realpg  
       2020-08-31 20:01:01 +08:00
    本来 SCP 就慢
    而且你的磁盘写入性能有那么高么
    greenskinmonster
        13
    greenskinmonster  
       2020-08-31 20:02:08 +08:00
    ssh 有个 high performance patch 解决这个问题,看看你的发行版是不是支持,具体看 www.psc.edu/hpn-ssh
    abutter
        14
    abutter  
       2020-08-31 21:22:17 +08:00
    iperf 是准的,不都到 9Gbps 了。
    hcocoa
        15
    hcocoa  
       2020-08-31 21:44:14 +08:00
    速度要求大于安全要求的话,换一下 scp 的加密和哈希协议就好了。
    我记得换成 blowfish 后要快很多
    infinet
        16
    infinet  
       2020-08-31 21:45:32 +08:00
    加密说不定有 CPU 加速不是瓶颈,压缩影响更大。
    CallMeReznov
        17
    CallMeReznov  
       2020-08-31 21:57:48 +08:00
    LZ 我问个其他的问题.
    你单万兆网卡测速开了几线程?
    这几天我这边服务器绑了 8 个网卡 单线程最大带宽只能跑 1G,最大开 4 个线程才能勉强达到 4G.
    Songxwn
        18
    Songxwn  
       2020-09-01 11:48:41 +08:00
    跑 SMB 试试吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4099 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 05:18 · PVG 13:18 · LAX 21:18 · JFK 00:18
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.