如何在几台服务器之间共享 Docker Image 及 Cache

[dangyuluo]

工作中遇到了一个问题。我们在 Kubernetes 上搭建了 CI 系统，并且配置了自动扩容。当 CI 负载升高的时候，AWS 会增加新的机器加入集群，来接受新的任务。但是问题是，CI 任务使用的 Docker Image 非常大，有 10GB 之多，每一台新机器都会浪费很多时间在下载新的 image 上。

因此我在想有没有什么办法能够在几台机器之间共享 Docker image/cache，比如单独创建一个 NFS 共享目录，挂载到各个机器上，然后在这里存储 Docker 的数据。

[whileFalse]

可以考虑把镜像直接做到 ami 中，这样创建出来的新机器就自带 CI Image 了。只是这样做的话每台机器的磁盘都会大出 10G。
另外想知道为什么你们的 CI Image 会那么大呢。是不是把一大堆东西全塞里面了或者是构建的时候没及时删掉中间文件？我觉得这里可能有优化空间

[dangyuluo]

@whileFalse 因为我们的开发环境就是在 Docker 里进行的，所以装了很多东西(Clion, Chrome, etc.)，而目前的技术负责人认为给 CI 单独维护一个 Core image 不太划算，因此暂时不考虑减小 size。

你说的 AMI 方法我也有想过，但是 CI Docker Image 会经常变动（一周一次？），而且源代码和 CI Docker Image 需要一一对应，因此做成 AMI 的话，AMI 就无法做到版本控制了。我的意思是，假设有了新的 AMI，就需要修改 Kubernetes 集群的配置，这样所有节点都会使用新的 AMI，无法做到新旧代码各自使用对应的 AMI。

[whileFalse]

@dangyuluo 额……看起来你们把 Docker 当虚机用了啊…… Clion 是 JetBrain 家的那个 IDE 么……
想知道你们的 Docker 是怎么做出来的？如果是手动 Commit 就比较麻烦了。
我个人建议是首先用 Dockerfile 做镜像，不要手动 Commit，然后分层做 Image：

1. 如果需要的话，做一个专用于运行时的 Runtime Image ；
2. From Runtime 做一个 CI Image，或者直接是单独的 CI Image ；
3. From CI Image 做一个带开发工具的 IDE Image。

如果是基于 Dockerfile 做镜像的话，一周一次的迭代是很容易的，CI Image 的尺寸也可以控制的很好。

我不清楚你们频繁更新的是 CI 或者 Runtime 的部分呢，还是开发工具的部分。如果说频繁变更 Runtime 或者 CI 部分但开发工具部分变更很少，可以考虑把开发工具做成一个不带 CI 单独的镜像，启动时同时启动 CI 和 IDE，并把 CI 的关键文件夹挂载到 IDE 中。

[whileFalse]

@dangyuluo 总而言之 Docker 和 VM 是不同的。Docker 可以看作轻量级 VM，其核心优势是分层。如果不用好分层所有东西都丢一坨还是手动 commit，那和用 VM 没差还不如 VM 好用。