一般而言,进行数据接入时将可能碰到如下问题:
- 数据源多种多样,常见的比如:各类关系型数据库、NoSQL 数据库、日志数据等。如何处理这么多种类型的数据源?
- 数据接入的策略是什么样的?时机如何选择?频率如何确定?
- 数据接入不能对业务系统的稳定性产生影响,如何实现?
- 数据入库后,如何在数据仓库中进行存储和管理?
- 如何保证多张入库表的数据一致性?
- 如何和业务系统开发团队分工协作?
下面将结合我们在项目中的实践,分享一下我们的思考。
完整内容请移步: https://brightliao.com/2021/03/01/data-ingestion-practice/