V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Haujilo
V2EX  ›  Kubernetes

你们自建的生产环境的 Kubernetes,是怎样运维管理的?

  •  
  •   Haujilo · 2020-05-06 10:45:11 +08:00 · 5773 次点击
    这是一个创建于 1697 天前的主题,其中的信息可能已经有所发展或是发生改变。

    感觉可以裸机部署,也可以基于 openstack 上用虚拟机部署。

    问题:

    1. 能裸机部署,是否还有必要用虚拟机,会遇到什么问题?有什么难点?
    2. 基于 openstack 的话,我看官方网络层有kuryr-kubernetes的方案,但是实际性能损耗是否能接受?基于 VM 是否能带来很多的好处?
    21 条回复    2020-07-18 15:16:51 +08:00
    nieqibest
        1
    nieqibest  
       2020-05-06 10:56:33 +08:00 via Android
    招个人吧
    Haujilo
        2
    Haujilo  
    OP
       2020-05-06 11:02:55 +08:00
    @nieqibest 不裁员已经不错了……
    Lax
        3
    Lax  
       2020-05-06 11:59:33 +08:00
    @Haujilo 选 k8s 得有这觉悟,这东西安装就不太省力。要达到出故障能排查的程度,真需要一个专职的人来研究
    Haujilo
        4
    Haujilo  
    OP
       2020-05-06 12:31:31 +08:00
    @Lax k8s 目前团队能用了,只是如果上生产,还在犹豫到底需不需要用到 openstack 这种东西,目前公司的生产状态用的还是 virsh 跑的 kvm……
    GM
        5
    GM  
       2020-05-06 12:57:17 +08:00
    @Lax 小团队可以考虑一下 Rancher 新发布的 K3S,K3S 精简了很多不必要的、过时的功能,各方面都比直接装 K8S 简单方便好多,但是依然是个通过认证的 K8S 发行版。
    GM
        6
    GM  
       2020-05-06 12:57:43 +08:00
    @Haujilo 上面的回复应该是 @你的,结果点错 @错人了
    Haujilo
        7
    Haujilo  
    OP
       2020-05-06 13:50:14 +08:00
    @GM 可能我表达不够清除,其实我的主要问题不是怎么部署 K8S 省心,而是需不需要多一层 VM,VM 相关的技术是否还有必要的问题。我们测试环境用 K8S 也有一年多了,我在思考生产环境怎么来弄,我对这块还不是很有经验。目前我感觉 K8S 更多是 PAAS,openstack 这类是 IAAS,如果直接跳过 IAAS 层跟测试环境这样来弄,不知道会有啥风险点。
    Lax
        8
    Lax  
       2020-05-06 19:46:31 +08:00
    单单从你提到的情况,没必要加上 openstack,性能损耗倒在其次,增加额外的复杂度并不值得。使用容器之后,虚拟机的价值就不大了
    wiken
        9
    wiken  
       2020-05-07 11:58:46 +08:00
    注意证书。。。我们之前就是没注意,一年后证书过期了,整个环境炸了
    Haujilo
        10
    Haujilo  
    OP
       2020-05-07 14:30:31 +08:00
    @Lax 比如公司内两个完全不同的业务,你们是单独建立两个不同的 k8s 集群?然后其他的 VM 需求,比如开个 Windows 机器,是单独 KVM 命令行管理?
    Haujilo
        11
    Haujilo  
    OP
       2020-05-07 14:31:02 +08:00
    @wiken 已经领教过了。😂
    bowser1701
        12
    bowser1701  
       2020-05-09 07:45:28 +08:00 via iPhone
    @wiken 同,昨天刚炸,k3s 。
    bowser1701
        13
    bowser1701  
       2020-05-09 07:46:10 +08:00 via iPhone
    @wiken 炸了之后你们都是怎么修的?
    wiken
        14
    wiken  
       2020-05-12 09:55:05 +08:00
    @bowser1701 我们是直接重新签过证书
    jinzhongyuan
        15
    jinzhongyuan  
       2020-05-13 15:01:18 +08:00
    @wiken 我们也遇到这事的,运维同事吓尿了,当时
    allposs
        16
    allposs  
       2020-06-11 14:07:10 +08:00
    k8s 生产已经使用一年多了,证书问题也遇到过。在底层主机上不建议使用配置不一致的主机做 node 节点。这边正在从虚拟机迁移到物理机上。至于平台用的是自研的。
    buaacss
        17
    buaacss  
       2020-07-15 13:28:06 +08:00
    没试过 openstack,阿里云里自建 k8s,使用两年左右,记录下问题:除了初期遇到过因为没有删除 default cni 插件配置导致 flannel 更新路由失败的问题
    buaacss
        18
    buaacss  
       2020-07-15 13:43:50 +08:00
    其它问题没遇到过。

    没用过 openstack,只说 VM 的话应该就是扩容快吧,
    配置好一个 node 镜像,需要扩容的时候直接开机就加好节点。
    api-server 节点最好用域名而不是 ip,比较方便在故障时迁移服务。

    遇到过比较大的故障都是和我们自己误操作有关,比如将测试环境
    的配置上线到生产环境、coredns 的服务器到期没续费被回收了,然后
    又在节点上打了 taint 导致无法调度,云环境里唯一一个比较坑的是
    SLB 不允许 4 层后端节点通过 SLB 访问自己,只能用 7 层。另外就是跨
    机房要注意延迟,有时候会导致 api-server 超时之类的。

    我感觉,如果是自建服务器才需要 openstack 来管理物理服务器吧
    如果是云环境直接上 k8s 就可以了。如果是自建物理服务器的话,应该
    不需要 vxlan 了,传输效率上可以再高一些。

    P.S.前一条回复本来想换行,结果不小心按错了。。。
    Haujilo
        19
    Haujilo  
    OP
       2020-07-18 14:30:05 +08:00
    @buaacss 其实就是思考的自建机房的时候怎么管理,如果上云的话,你们当时不考虑直接用云厂商提供的 k8s 服务是遇到过什么坑吗?
    Haujilo
        20
    Haujilo  
    OP
       2020-07-18 14:31:53 +08:00
    @buaacss 感觉固定流量的服务器放自建机房,推广时期的高峰流量用云主机去抗,会不会总体成本更低一些?
    buaacss
        21
    buaacss  
       2020-07-18 15:16:51 +08:00 via iPhone
    @Haujilo 我们是自建的 k8s,也写了很多深度结合云服务 api 的东西。如果是自建机房的话,我感觉 openstack 是必要的,k8s 只负责调度容器,偏应用层多一些。服务器本身的管理还是应该有专门的软件去做。云服务现在就是 cpu 和内存成本低,如果有大数据量需要存储,还得自建
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2711 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 12:40 · PVG 20:40 · LAX 04:40 · JFK 07:40
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.