V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
cernard
V2EX  ›  问与答

请教一下大家,有什么异构数据源同步工具推荐吗?

  •  
  •   cernard · 2020-07-28 09:50:53 +08:00 · 2318 次点击
    这是一个创建于 1374 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题所属,异构数据源的离线(批)和实时数据同步工具。

    需求:

    1. 支持异构数据源( mysql 、mongo 、文件、api 、消息)
    2. 提供 api 或者 sdk 在代码中提交和管理任务
    3. 支持任务详情监控
    4. 支持异常报警(或者能够自己实现)
    5. 开源,基于 Java
    6. 支持自定义代码或者插件

    目前已知符合条件的:

    1. DataX
    2. FlinkX
    3. Logstash (不推荐,难嵌入和监控)

    但是 DataX 和 FlinkX 都没用过,不知道有什么坑,还有什么可以推荐的吗?

    5 条回复    2020-07-28 13:11:08 +08:00
    whasyt
        1
    whasyt  
       2020-07-28 10:02:17 +08:00
    datax 满足
    cernard
        2
    cernard  
    OP
       2020-07-28 10:04:59 +08:00
    @whasyt #1 DataX 可以在 java 代码里提交任务、管理任务、监控任务吗?我看 github 都是手动运行命令提交任务
    whasyt
        3
    whasyt  
       2020-07-28 10:07:38 +08:00
    @cernard #2 他是开源的,监控任务可以自己修改代码实现,或者在调用环境下监控日志&调度。
    cernard
        4
    cernard  
    OP
       2020-07-28 11:13:08 +08:00
    @whasyt #3 了解,感谢
    death00
        5
    death00  
       2020-07-28 13:11:08 +08:00
    有个 datax-web,是界面可配置话的那种,你看看可以不
    https://github.com/WeiYe-Jing/datax-web
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2033 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 01:20 · PVG 09:20 · LAX 18:20 · JFK 21:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.