拥抱云原生，数据湖加速器 GooseFS 助力 Fluid 数据缓存实现

[CloudStorage]

01 前言

数据湖加速器 GooseFS 是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。依靠对象存储（ Cloud Object Storage，COS ）作为数据湖存储底座的成本优势，为数据湖生态中的计算应用提供统一的数据湖入口，加速海量数据分析、机器学习、人工智能等业务访问存储的性能。

近年来，云原生概念的兴起进一步加速了计算资源的弹性化。腾讯云容器服务（ Tencent Kubernetes Engine，TKE ）基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务，为容器化的应用提供高效部署、资源调度、服务发现和动态伸缩等一系列完整功能，解决用户开发、测试及运维过程的环境一致性问题，提高了大规模容器集群管理的便捷性。

越来越多的大数据业务架构中采用了容器服务，减少了集群的资源冗余情况，有效降低了大数据业务成本。

02 GooseFS 助力 Fluid 数据缓存实现

Fluid 是 CNCF 基金会旗下云原生环境中数据密集型应用的高效支撑平台。云原生环境下，计算存储分离架构提升系统弹性的同时，给大数据 /AI 等数据密集型应用带来了计算性能和管理效率方面的挑战。

现有云原生编排框架运行此类应用时，存在数据访问延时高、多数据源联合分析难、应用使用数据过程复杂等痛点。Fluid 正是为解决这些问题而生的。

近期 Fluid 0.6 版本正式发布，在该版本中，GooseFS 作为新增的缓存引擎正式亮相，同时支持缓存引擎高可用并新增公有云缓存引擎。

为了满足不同环境用户对缓存系统的需求，Fluid 提供了可插拔的分布式缓存 Runtime 接入框架。

在 Fluid v0.6 中，来自腾讯云的社区贡献者基于该框架开发了 GooseFS Runtime，新增了一种支撑 Fluid Dataset 数据管理和缓存的执行引擎实现。用户可以在 Fluid 中通过 GooseFS Runtime 使用 GooseFS 缓存能力访问和缓存腾讯云 COS 中的文件，可以实现数倍加速业务访问。

腾讯云容器服务 TKE 和 EKS 为快速部署 GooseFS 提供了便捷易用的途径，用户只需要在应用市场上选择 GooseFS 应用，为对应集群快速创建并部署应用即可在 Fluid 上使用和部署 GooseFS Runtime 。

GooseFS 作为分布式文件系统，采用了 Master-Worker 架构，提供了高可用的存储服务。在分布式文件系统中，高可用性包含两个方面：一是整个文件系统的可用性，二是数据的完整和一致性。

Master 作为全局元数据管理组件，通过 Master High-Availability 保证文件系统的高可用；通过 Raft 算法实现选主、状态机同步等操作保证日志和元数据的完整和一致性。

在 Fluid v0.6 中，来自腾讯云的社区贡献者设计实现高可用运行时功能，用户只需要指定期望 master 个数，如果个数为大于 1 的奇数，将自动使用高可用模式。

腾讯云对象存储和容器团队为用户提供了丰富的文档支持，您可以参照文档快速入门并在容器平台上运行 GooseFS，运行您的大数据或者 AI 等数据密集型业务。

03 结语

数据湖加速器 GooseFS 加速业务访问存储的性能。腾讯云容器服务为容器化的应用提供一系列完整功能，解决用户开发、测试及运维过程的环境一致性问题，提高了大规模容器集群管理的便捷性。减少集群的资源冗余情况，有效降低了大数据业务成本。 将来我们也会不忘初心，为您提供更安全的云服务！关于了解更多请前往： https://cloud.tencent.com/document/product/436/59358