分析数据库服务(ADS) 极速驱动大数据商业变革

2014年11月17日 11:17 阅读 4557

      

       根据IDC 2013年发布的数字宇宙研究报告(Digital Universe)显示,在接下来的8年中,我们所产生的数据量将超过40 ZB(泽字节)!作为大数据特征中最重要的Volume(容量)、Velocity(数据生产速度)的两个原始特征都在发生急剧变化,使得数据处理从业务系统的一部分演变得愈发独立,企业需要加速数据分析和挖掘过程,并由报表展现为主到强调数据洞察转型,让数据直接快速产生价值(Value)。

 

       在业务系统中,我们通常使用的是 OLTP(OnLine Transaction Processing ,联机事务处理)系统来处理数据,如 MySQL、Microsoft SQL Server、Oracle等关系数据库,这些数据库对应到我们云上的产品,便是RDS等关系数据库服务。这些关系数据库系统擅长事务处理,在数据操作中严格遵循ACID原则,能够很好的支持高并发的数据插入和修改;但是一旦需要进行统计分析类计算并且记录数超过千万甚至十亿级别,或需要进行非常复杂的计算过滤时,OLTP类数据库系统便力不从心了。

 

       另一类计算系统,则更适合海量数据以固定的模式进行分析和处理,例如开源的Hive(Hadoop底层)、SPARK SQL(SPARK底层)离线计算系统,以及阿里云上的ODPS开放数据处理服务等,可以计算万亿条,数百TB甚至更多的数据,但是一般很难应对需要高并发(例如100QPS以上)或者实时响应(计算响应时间在3s以下)的业务场景。

 

       而分析数据库服务ADS,是一套RT-OLAP(Realtime OLAP,实时 OLAP)系统。在数据存储模型上,采用自由灵活的关系模型存储,可以使用 SQL进行自由灵活的计算分析,无需预先建模;而利用分布式计算技术,ADS可以在处理百亿条甚至更多量级的数据上达到甚至超越MOLAP类系统的处理性能,真正实现百亿数据毫秒级计算。

 

       ADS让海量数据和实时与自由的计算可以兼得,实现了速度驱动的大数据商业变革。一方面,ADS拥有快速处理百亿级别的大数据的能力,使得数据分析中使用的数据可以不再是抽样的,而是业务系统中产生的全量数据,使得数据分析的结果具有最大的代表性。而更重要的是,ADS采用分布式计算技术,拥有强大的实时计算能力,通常可以在数百毫秒内完成十亿百亿的数据计算,使得使用者可以根据自己的需求在海量数据中自由的进行探索,而不是根据预先设定好的固定逻辑查看已有的数据报表。

 

       同时,由于 ADS 能够支撑较高并发查询,并且通过动态的多副本数据存储容错机制以及长尾容忍技术来保证较高的系统可用性和延时稳定性,所以能够直接作为面向最终用户(End User)的产品(包括互联网产品和企业内部的分析产品)的后端系统。如淘宝数据魔方、淘宝指数、快的打车、阿里妈妈达摩盘(DMP)、淘宝美食频道等拥有数十万至上千万最终用户的互联网业务系统中, 都使用了 ADS。

 

       ADS作为海量数据下的实时计算系统,给使用者带来极速自由的大数据OLAP分析体验以及极好的兼容性,期待和各位一起加速数据业务转型。

 

       目前ADS已在阿里云上正式开始公测,我们欢迎有各类相关需求的用户使用ADS并向我们提出宝贵的建议。

 

       ADS公测地址: https://i.aliyun.com/inviteapply?spm=0.0.0.0.42oHFX&agent_id=95


上云就上阿里云!