当Pravega遇到TiDB,如何构建出实时数据仓库?
目前,大多数企业采用Apache Flink与Kafka相结合的方式进行实时数据处理,即kafka从其他端获取数据后,⽴刻到Flink进行计算,Flink计算完后结果导入到数据库,整个过程是数据流式处理。然而,由于Kafka不在磁盘中持久保存数据,在极端情况下,数据可能会丢失。
综合研究了市场上主流的数据库和存储系统以后,笔者发现了一个更有效、更准确的实时数据仓库解决方案,即通过Pravega TiDB这种架构组合,来构建实时数据仓库。
在这篇文章中,我们将重点介绍Pravega分布式流存储系统、TiDB分布式SQL数据库能给用户带来哪些价值,以及这种组合如何解决Kafka数据持久性挑战。同时,Pravega TiDB在自动扩展、实时数据仓库的高并发性、可用性和安全性等方面有哪些表现。
Pravega——重构流式存储架构
THE END