这项国产核心技术终于"硬"了起来!
扫描二维码
随时随地手机看文章
对现在的IT行业来说,新旧势力的对决已经司空见惯。诺基亚被苹果、三星所打败,传统的IT系统正在被云计算所取代。
这一幕也正在数据库市场上演。多年来,中国数据库市场一直牢牢的被国外厂商所占据,仅甲骨文一家就占了半壁江山。当甲骨文研发中心撤出中国时,创始人埃里森说的那番话想必都深深地刺痛了国人的心:不能任由中国培养出比美国还多的工程师!
自从中兴事件之后,"关于核心技术,中国还缺什么"这一话题就在业界持续发酵。一时间,芯片、操作系统、光刻机、触觉传感器、工业软件等等,都被划归到"卡脖子"的领域,希望得到更多大众的关注。
而在沉寂了很久的国产数据库领域,也突然热闹起来。
去年5月15日,华为正式推出了分布式数据库GaussDB,整合了人工智能技术,实现了数据库的自我监测、自主运维。今年5月14日,腾讯云也对外透露,旗下分布式数据库TDSQL的金融政企用户数突破600家……
令人振奋的是,今年5月,蚂蚁金服自研的分布式数据库OceanBase在素有"数据库领域世界杯"之称的TPC-C基准测试中,性能分数首次突破亿级大关,达到7.07亿tpmC,意味着每分钟创建新订单数7.07亿。
而这距离其上次打破世界纪录(6088万tpmC)仅仅过去7个月,成绩大幅提升近11倍,这也打破了由甲骨文等美国公司长达9年"霸榜"的现状。
就在近日,蚂蚁金服再次宣布,将OceanBase独立进行公司化运作,成立由蚂蚁100%控股的数据库公司北京奥星贝斯科技,并由蚂蚁集团CEO胡晓明亲自担任董事长。
这意味着,OceanBase这款自研的数据库产品,已经成为蚂蚁金服旗下一家面向B端的独立技术服务公司,代表其数据库业务商业模式的成熟,其在蚂蚁集团内部的升格,进入到了一个全新的发展阶段。
国产数据库为什么不行?
数据库的概念最早可追溯至上个世纪60年代。顾名思义,数据库就是一个存放数据的仓库,并且是按照一定的数据结构进行组织、存储的。我们需要按照数据库的方法来管理数据,提取数据,利用数据。它也被视为是一项底层的、必要的核心技术能力。
到了70年代,关系模型已经诞生。80年代关系数据库逐渐成为整个社会的信息基础设施。在40多年的发展过程中经历了多次演进,以甲骨文为代表的传统商业数据库仍旧统治着市场。
数据库处于整个产业最底层的位置,替换风险相当大,但收益却小得多。这也是即便像IBM、微软这样的后来者也无法取代Oracle的原因。这就导致了数据库变成了一个门槛极高、强者恒强的领域,后来者很难居上。
在国产数据库发展的40年中,最初源于国家的引导、支持和扶植。这一阶段,国产数据库的研发源于高校,直至今日,这几家拥有高校背景的数据库公司仍然是国产数据库的重要参与力量,达梦、人大金仓、南大通用也被称为传统三剑客。
但是只有国家扶植、高效投入还不够,无论是学术基因、市场缺失,还是生态支持,都使得国产数据库的发展举步维艰。
1977年黄山首届数据库年会
达梦–由华中理工冯玉才教授创办,完全自主研发。以Oracle为参照、追赶对象。
人大金仓–由人民大学王珊教授创办,自主研发。普通的关系型数据库。
南大通用(Gbase 8a)-南开大学的背景,2010年左右自主研发的,基于列式存储的,面向数据分析、数据仓库的数据库系统。
20世纪90年代,市场上的国产关系型数据库,多源自或者借鉴开源MySQL、PostgreSQL数据库及其变种,或收购商业源码(例如Informix)+自研的方式。纯自研的国产数据库还是少数,数据库种类也不够丰富。
此时的甲骨文数据库软件,功能已经极为丰富,支持的语句非常全面,超过ANSISQL的标准,代码量堪称浩瀚。
数据库管理系统行业观察家晓军在《国产数据库发展现状分析》中指出:"数据库技术发展到今天,国人并非不知道数据库底层该怎么开发,而是自己写的代码在市场上磨练比较少,对稳定性信心不足,而这种信心的不足同样来自客户方面。"
不可否认,高校背景出身的数据库厂商也有自身的优势,在技术方面也在不断的成长,也为国产数据库的发展起到了领路人和培育人才的作用。
2007年之后,除了传统的数据库厂商、数据服务商,互联网厂商、云计算厂商、硬件厂商、新兴的创业公司也越来越多地投入到数据库的研发中,呈现了百花齐放的局面。蚂蚁金服的OceanBase就是代表之一。
OceanBase是怎么诞生的?
随着互联网、电商、手机支付的发展,并发访问量骤增,甚至达到百万至千万的级别,企业对数据库提出了更高的扩展性和通用性需求,而传统商业数据库越来越难容纳和处理如此巨大的数据量和访问量。
在2010年之前,IBM的小型机、Oracle数据库、EMC存储设备(合称IOE)几乎成为银行、电信等各大公司的标配,这些企业追求高可靠性而又不差钱,都非常喜欢IOE。但对于后来崛起的互联网公司来说,随着业务高速增长,传统关系数据库的缺点越来越明显:扩展性差、容量小、处理能力不足、成本又非常高。
拥有着国内最大电商、支付体量的阿里巴巴,最先吹响了去"IOE"的号角。2009年,刚刚加入阿里的王坚院士提出,将IOE从阿里的IT体系中去除,代之以自主研发的系统,这一目标也体现在了2010年阿里的技术预算工作汇报中。
来源:阿里技术公众号
当时还发生了一个小故事:现在的高德总裁刘振飞,在当时负责组建淘宝技术保障部。他在给王坚博士汇报预算的时候,还得意地说到:"(淘宝)2010年不再购买小型机",却被王博士狠狠批评了一顿:"既然2010年可以不再购买小型机,为何还要给自己留下活口,2011年以后还可以买呢?加一个字:2010年起不再购买小型机!"
随后,由阿里掀起的"去IOE"浪潮也开始在整个行业内引发了巨大的影响。
2010年,已经做了两年多分布式系统研究的阳振坤加入了阿里巴巴,开始进行分布式数据库OceanBase的研发。作为OceanBase的创始人,阳振坤放弃了基于成熟的开源数据库做二次开发的这条老路,毅然决绝的选择了周期长、投入大,还有可能面临失败的自研道路。
蚂蚁金服高级研究员、OceanBase创始人阳振坤(来源:OceanBase)
面对日益增长的流量压力,他认为,单机数据库已经走到了尽头,下一步只能走向分布式。如果能将分布式技术揉到传统关系型数据库里,就能够解决单机数据库存在的各种问题,这对于当时整个互联网的基础设施都将是一个巨大的进步。
在第二年,OceanBase的第一个版本发布,首先在淘宝收藏夹上小试牛刀,把服务器数量降低一个数量级,取得了非常好的效果。随后的几年,采用分布式技术的OceanBase快速迭代,从对内支撑发展为对外技术输出:
2014年,OceanBase替代Oracle在支付宝交易系统上线,负担"双十一"10%流量;
2015年,网商银行成立,OceanBase成为全球首个应用在金融核心业务系统的分布式关系数据库;
2016年,OceanBase在支付宝账务系统上线,支撑12万笔/秒支付峰值;
2017年,支付宝首次把账务库在内的所有核心数据链路搬到OceanBase 上,创造4200万次/秒数据库处理峰值纪录;
同年,OceanBase首次在阿里之外的商业银行——南京银行上线。
从关系数据库的角度看,在如此大体量下,通过TPC-C基准测试已经非常困难,保持系统性能就更加困难。1500多个数据库节点,5000多万个仓库以及对应数量的客户端,并进行8个多小时的持续压测,对整个系统是极大的考验。
而OceanBase实现突破的关键就在于采用了新一代分布式技术,颠覆了传统数据库集中式处理技术架构。
一般而言,传统数据库只能通过提升单机性能来提升整体性能,难以满足市场持续扩张的数据处理需求。OceanBase通过分布式扩展集群实现扩展能力的大幅提升,实现整体性能的数量级提升。
数据库上云,阿里们的新机会
根据Gartner的研究,2019年全球数据库市场已经达到520亿美元,涨幅达到18.2%,成为了整个基础软件行业中增速最快也是最大的市场。而在中国大陆,这一增长数字更是达到32%,越来越多的厂商和资本参与进来。
Gartner高级研究总监孙鑫对创业邦表示,从现在看来,国产数据库厂商并不会对甲骨文形成太大的冲击。在过去的十年,虽然行业中一直存在"去IOE"的声音,但甲骨文就像一座难以逾越的大山,其市场份额依然稳居第一。同时,以阿里、腾讯、华为为代表的国产数据库新生力量依然拥有非常大的机会。
首先,国产数据库逐渐会变成政府、央企以及国企的首选。基于现在政策层面的原因,会使得这些机构重新认知国产数据库或者开源数据库,将其纳入到采购体系当中。
其次,云将主导数据库市场的未来,成为大多数企业部署数据库的首选。云厂商正在撕裂传统数据库固若金汤的防线,往云上走正在变成国企、央企重点考虑的事情。
就拿金融行业来说,近两年,金融行业对拥抱开放的技术的需求越来越明显,而现阶段单纯的云服务已经无法真正满足企业的需求。此前,银监会提出银行业应稳步实施架构迁移,到"十三五"末期,面向互联网场景的重要信息系统全部迁移至云计算架构平台,其他系统迁移比例不低于60%。
Gartner预测到2022年,全球75%的数据库都会跑在云上,只有5%的数据库会考虑部署在本地。在中国,云计算市场无疑是BAT、华为等国内厂商的天下,这些厂商所推出的数据库产品在云上的生态也将会越来越繁荣。
孙鑫指出,实际上,阿里、腾讯、华为也正在利用他们在云计算市场上的优势,带动其数据库业务营收的迅速增长。由Gartner公布的全球DBMS(数据库管理系统)市场份额排名显示,阿里云第9位、华为第11位、腾讯云第13位,虽然距离甲骨文、微软、IBM这三座大山还有一段距离,但是其增长速度已经十分惊人。
作为全球云计算的老大,AWS凭借其丰富的云产品和生态能力,其数据库业务体量已经超越了老牌厂商IBM。我们也有理由相信,数据库市场的未来就是云计算。
BAT等云厂商也不只做数据库,其云上的周边产品也异常丰富,并且进行了大量的创新和增值服务。
例如,阿里云的BI(商业智能)产品QuickBI,作为阿里数据中台的核心产品,用户通过拖拽式操作即可完成数据的建模和分析。这也让用户能够越来越深刻的认知到,基于数据库产品其实能够做更多的事情,而不仅仅是把数据存起来而已。云也能够给企业带来更多的增值,而不仅仅是把数据换一个地方而已,这样云的生态也会让更多人参与进来。
目前,云上的生态已经基本建立起来了。大多数企业数据产生的地方就是在云端,如果将云上的数据拉到本地再做数据分析、数据存储,就会增加很多整合的困难。因此,很多国企、央企也在考虑如何在一个纯粹的云环境下进行数据库的部署和整合。
从创新的角度来看,无论是数据库公司还是前端的商业BI公司,他们开发和创新的关注点也都在云上。无论是算法、工具还是能力,基本都是优先基于云的环境,甚至有些能力只能在云上运行。因此,如果中国的企业想寻求创新,上云几乎是其必经之路。
未来几年,云计算无疑将成为国内外数据库厂商争夺的焦点。阿里作为国内云计算的"一哥",旗下蚂蚁金服的OceanBase在云上的创新也会进一步引起用户的关注。
蚂蚁金服的"一箭双雕"
从2017年开始,蚂蚁金服面临了相当大的金融监管压力:备付金上缴央行且一度不产生任何利息,在2017年消费贷(花呗和借呗)ABS(资产证券化)发行量超过3000亿元峰值之后,监管层强调杠杆率,2018年发行规模急转直下,此外,也存在着余额宝规模放缓等关键问题。
在此背景下,公司面临加速转型。从2017年蚂蚁金服拆分数据来看,支付连接占比54%;金融服务占比11%;技术服务占比34%。蚂蚁金服提出,2021年,技术服务收入将上升至总收入的65%,超过支付收入成为第一大收入项,这也被视为规避支付业务的监管风险之举。
广发证券曾预测,蚂蚁金融技术服务是公司未来的"增长极"之一,致力于为机构用户提升营销、风控能力,带来增量收入。技术输出作为蚂蚁金服的主要发展方向,在这其中也经历了多个阶段。
2015年,蚂蚁金服集团董事长井贤栋提出"互联网推进器"计划;2016年,蚂蚁金服强调TechFin定位,宣布对外开放金融科技;2017年蚂蚁宣布全面对外开放;2018年9月,蚂蚁金融云升级为蚂蚁金融科技,开放加速。
通过开放金融云服务,为中小银行搭建业务系统,帮助银行等传统金融机构的数字化转型,成为了蚂蚁金服技术输出的主要内容。
蚂蚁金服副总裁刘伟光说过,公司经历了自身架构调整的过程,通过不断挖掘市场需求,形成自身的产品。在蚂蚁金融科技的开放板块中,主要包括区块链、金融智能、金融安全、分布式架构、移动开发以及OceanBase所在的分布式数据库板块等。
据悉,OceanBase独立后的新公司将在今年内发布重大版本升级,在原有功能基础上增加分析型业务处理能力,OceanBase将升级为一款支持HTAP混合负载的企业级分布式数据库。OceanBase同时宣布,将在未来三年内服务全球超过万家企业客户。
孙鑫对创业邦表示,蚂蚁金服将OceanBase独立进行公司化运作,其实对OceanBase本身并没有太大的改变,改变的是其和蚂蚁金服的实体关系。而这种实体关系的改变将带来"一箭双雕"的作用,可谓一部妙棋。
从资本层面看,截至2020年6月,蚂蚁金服共发生9次融资事件。其中,Pre-IPO轮的140亿美元的融资金额是迄今为止全球最大的单笔私募融资。此次融资后,蚂蚁金服的估值达到1500亿美元。
关于蚂蚁金服到底何时何地上市,这几年各种消息翻来覆去。作为超级独角兽,蚂蚁金服似乎距离上市也越来越近了。
孙鑫认为,OceanBase独立之后,蚂蚁金服会有一个更加明确的定位,可以更加专注的作为一家专业的金融公司去运营,类似银行这样一个实体存在,这或将也是作为一个独角兽上市的路径。
此外,传统银行使用互联网金融公司的产品还是会存有一些顾虑和畏惧感的。蚂蚁金服作为阿里旗下一家科技金融公司,自身拥有技术能力,传统金融公司在使用OceanBase产品过程中,必然会对数据的安全性、隐私性等问题产生担忧。
OceanBase独立后,作为一家面向B端的数据库产品公司,金融客户无论是从心态上还是从信任度上都会有较大改变。
南京银行"鑫云+"互联网金融平台是OceanBase最早的对外商业项目。2017年10月,阿里云、蚂蚁金服合作打造的平台上线,南京银行互金核心系统的交易处理能力、成本控制以及对接效率都得到了极大的提升。
平台上线后,业务快速增长,贷款交易处理能力全面升级,从原来的10万笔/天提高到100万笔/天。轻资产模式使得单账户管理成本从30-50元降低到4元。较传统银行业务系统,维护人员仅约为1/5。
可以说,此次蚂蚁金服将OceanBase独立运作,不管是为上市前做铺路准备,还是为其大规模商业化打消客户的安全性担忧,都是不无裨益的。