V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dollck
V2EX  ›  数据库

ESL 工具 kettle 导入 MySQL 千万级数据速度快速变慢

  •  
  •   dollck · 13 天前 · 686 次点击
    提前声明环境条件:
    Windows 11 Kettle Spoon
    java version "1.8.0_351"
    Java(TM) SE Runtime Environment (build 1.8.0_351-b10)
    MySQL8.0 (本地)
    800MB csv 文件 约 3000 万行数据
    表输出线程 x10
    使用连接池
    提交记录数量 10000
    useCompression true
    rewriteBatchedStatements true
    useServerPrepStmts false

    问题说明:
    使用 Kettle Spoon 向本地 MySQL 服务器导入 CSV 数据。启动转换后发现表输出速度骤降,30s 内从单线程处理速度 9000+降到 100+

    尝试措施:
    尝试过换成远程数据库,现象相同
    1 条回复    2023-01-25 12:24:22 +08:00
    opengps
        1
    opengps  
       12 天前
    查一下导入过程磁盘的队列大小,队列大则可能已经触及性能上限了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   实用小工具   ·   1209 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 21:42 · PVG 05:42 · LAX 13:42 · JFK 16:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.