V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
NeroKamin
V2EX  ›  Hadoop

请教一下 Hadoop 在生产环境可以通过 Docker 安装吗?

  •  
  •   NeroKamin · 293 天前 · 1380 次点击
    这是一个创建于 293 天前的主题,其中的信息可能已经有所发展或是发生改变。
    背景:新入职的一家传统公司,开发运维的活都要自己干。领导不懂技术,今年定下的目标是要在公司内搞一个大数据平台,指定要部署一套 Hadoop 集群,让我来负责。我感觉按目前公司的业务来说根本用不到,基本上属于是绩效工程,我自己也对这方面没有太多研究。很早以前接触过一点 Hadoop ,印象就是安装配置挺麻烦的,所以我想来请教下在生产环境上能否使用 Docker 来简化 Hadoop 的安装配置,是否有什么坑?
    12 条回复    2024-03-12 14:40:46 +08:00
    superchijinpeng
        1
    superchijinpeng  
       293 天前
    太可以了,现在政府的底层都是在 k8s 上了
    NeroKamin
        2
    NeroKamin  
    OP
       293 天前 via iPhone
    @superchijinpeng 没有 k8s 环境,弄 k8s 感觉更复杂了。我想直接用 docker compose ,但这样是不是就和 hadoop 伪分布式集群差不多了,组件都跑在一个机器节点上了
    cus
        3
    cus  
       293 天前 via iPhone
    单机就没有任何必要布集群了
    cus
        4
    cus  
       293 天前 via iPhone
    可以看看阿里云的 lindorm ,我们之前的场景 lindorm 成本和自建接近。
    NeroKamin
        5
    NeroKamin  
    OP
       293 天前
    @cus 绩效工程,领导要啥就只能做啥,打工人没有拍板的权力。领导要 Hadoop 就得上 Hadoop ,领导要 Docker 就得用 Docker 。
    其实我主要是想问在不引入 k8s 、docker swarm 等的情况下有没有比较好的方案编排这些组件,并且不是单机集群
    luckybearops
        6
    luckybearops  
       293 天前   ❤️ 1
    我的理解,应该是有 ansible 编排的 hadoop 集群,可以去 GitHub 找找
    kneo
        7
    kneo  
       292 天前 via Android
    能。生产环境常用。当然坑很多,说有一百个坑都不为过。你想一个都不踩是不可能的。该踩的都得踩一遍,都是经验,就别想着避坑了。
    ispong
        8
    ispong  
       292 天前
    合作一下? 😊
    ispong
        9
    ispong  
       292 天前
    NeroKamin
        10
    NeroKamin  
    OP
       292 天前 via iPhone
    @ispong 这是啥?你们公司的产品吗
    NeroKamin
        11
    NeroKamin  
    OP
       292 天前
    @kneo #7 能分享一下经验吗
    ispong
        12
    ispong  
       285 天前
    @NeroKamin 是的, 4 月份推广. 应该对你有所帮助,感觉我们可以合作
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   852 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 20:34 · PVG 04:34 · LAX 12:34 · JFK 15:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.