数据库横向对比与前沿技术分析探讨
1 何需数据库?
互联网和移动互联网络的快速发展带来了数据产生速率的极大增长,每时每刻都有数以十亿量级的设备在生产出巨大体量的数据。
从数据产生的渠道来看,主要分为两类,一类是人类活动生成的数据,诸如我们日常的网页浏览、收集等移动设备的使用;另一类是机器产生的数据,如生产线设备、物联网设备、传感器、无线网络等。
从数据生成的速度来看,据国际数据公司IDC的监测数据显示,2013年,全球大数据库储量为4.3ZB(相当于47.24亿个1TB容量的移动硬盘);2014年是6.6ZB;2015年是8.6ZB;2018年是33.0ZB……预计在 2030 年,将会有超过千亿量级的联网传感设备产生出巨大体量的数据。
图1:2016年至2020年全球每年产生的数据量(单位:ZB,%)
面对每天产生的海量数据,人们怎么能够做到又快又好地找到并调用呢?于是,数据库就是被创造出来帮助人们快速提取数据价值的利器。当然,还有其它类似的概念和工具,诸如数据仓库、数据集市、数据湖泊等,旨在解决我们日常所面对的数据存储、数据转换、数据分析、BI商务智能等一系列工作。
2 数据库的进化路径
现代商业社会对数据库性能方面的要求推动了数据处理基础架构与技术的发展。下图展示了以数据库为中心的数据处理基础架构和技术的进化路径:从关系型数据到大数据,从大数据到快数据,从快数据到深数据 ,从深数据到图数据。
1980-2010年间的关系型数据库主导的阶段;
2010-2020年间的大数据(NoSQL、数仓、数湖、大数据框架)主导的大数据时代;
2020-2030年则可以预见的是图计算(图数据库)的时代。