中国信息通信产业数据价值要得到充分释放还需翻越三座大山
扫描二维码
随时随地手机看文章
IT之后是DT,从数据中掘金、向数据要效益渐成共识,但首先你需要的是一套趁手的工具。
数据中的价值只有用起来才是真正的价值,现实情况却是企业生产活动中产生的数据中只有不到2%被保存,而其中得到分析利用的不足10%;并且企业普遍存在烟囱式业务系统,导致数据管理、应用效率低。“接入难、分析难、消费难”已经成为充分释放数据价值所必须翻越的三座大山。
“世上无难事,只要肯登攀”,6月5日,华为在北京发布智能数据解决方案FusionData,支持智能的数据全生命周期管理,从数据接入、数据处理和数据使能三个层面重定义数据基础设施;让数据“存得下、流得动、算得快、用得好”,变数据资源为数据资产;打造世界领先的数据湖解决方案,帮助客户拥抱行业数字化。这亦是其所推动的“数据+智能”新一轮进化的一部分,用华为IT产品线副总裁、智能数据与存储领域总裁周跃峰的话说,FusionData是华为多年来积累的结果,希望将这些核心能力开放出来为中国的产业界作出贡献。
“数据+智能”:新一轮进化到来
从农业经济、工业经济到数字经济,数据已经成为新生产资料,智能则成为了新生产力,华为Cloud & AI产品与服务总裁侯金龙在发言中说。
随着5G、AI、IoT等数字化技术的应用与普及,在未来数据不是以十倍百倍增长,而将呈成千上万倍增长。华为《全球产业展望(GIV)》预测,全球数据量将从2018年32.5ZB快速增长到2025年的180ZB;IDC的《数据时代2025》白皮书亦预测,2025年全球的数据量达到163ZB。恒如沙数的数据带来了巨大的挑战、也孕育了前所未有的机遇,其中的一个表征就是数字经济在经济总量中占比持续加大,成为驱动社会经济发展的新引擎。
中国信息通信产业研究院最新发布的《中国数字经济发展与就业白皮书(2018年)》显示,2018年我国数字经济规模达到31.3万亿人民币,占GDP的比重为34.8%;同时,我国数字经济领域就业人数达到1.91亿人,占当年总就业人数的24.6%,同比增长11.5%,显著高于同期全国总就业规模增速。
每一次新的生产力与新的生产资料结合,都会极大地促进社会的进步和发展。而“数据+智能”的结合,也产生了相同的效应,新一轮进化正在到来——在北京,通过“数据+智能”,政务服务实现了“一门一号一窗一网”,让数据多跑路、群众少跑腿,业务办理时间缩短了50%;在深圳,通过“数据+智能”,道路交通控制从“车看灯”变成了“灯看车”,让城市交通更顺畅,早高峰主干道车速提升了18%。
又比如在金融领域,传统的风控平台并不能满足100ms以内的处理时间需求,基于大数据、AI等技术的华为金融实时风控解决方案则交出了完美答卷。在6000多条风控规则下,该方案对交易风险决策的响应速度达到了30ms以内,让金融企业的交易风控从事后变成事中,自2016年在招商银行部署以来已累计保护32亿笔交易安全,助其大幅减少交易损失。
阻碍数据价值释放的三座大山
越来越多的企业已经意识到,数字化、智能化转型的关键在于“数据+智能”,但主观意愿与客观现实之间存在着不小的鸿沟——由于多样性数据、多样性系统和多样性业务的现状,导致各行各业实现数据价值的过程中,普遍面临数据接入难、数据融合分析难和数据消费难三大难点。
“从数据中获取价值,难就难在如何将各式各样的数据汇聚到数据湖中,又如处理它们、使用它们,这绝非拿个瓢到湖里舀水那么简单。”周跃峰在发布会后的媒体采访中指出,首先以数据接入难而言,随着应用移动化的高速发展,企业前端应用系统和应用模块达到上千个、后端平台有数十个,整个数据平台有上万个接入点,导致系统前端和后端的数据接入很复杂。比如某公司,一条财经数据就涉及30多个前端系统,一个业务开发流程需要和400多个系统进行数据对接。
其次在数据融合分析难方面,一个业务在分析过程中,往往需要从多个数据来源抽取数据,经过融合分析实现业务目标。由于企业烟囱式架构带来的系统开发接口不统一、数据标准不统一、数据处理链路长等问题,使得数据融合分析成为一大难题。以某银行精准营销为例,需要使用用户注册数据、消费行为数据、位置数据等,这些数据分散在关系数据库、MPPDB、Hadoop、 流计算等多种系统中,这些系统提供的接口标准有SQL、API等,数据存储格式有文件、表格等,数据融合分析耗费大量人力物力,最终该业务的实现耗费了一个月之久。
最后就数据消费难来看,其实质就是数据用不好。以某公司为例,全公司共有130多万张表,分散在各个业务系统中;经过数据加工入湖的数据有14多万张表,约占总数据量的11% ;经过加工聚合后的主题库表约5千张,不足总数据量的0.5%,无法应对灵活多变的业务需求。
数据基础设施是“数据+智能”的底座、是加速行业数字化转型的核心驱动力、亦是构筑智能世界的中台,但在上述三座大山面前传统的数据基础设施却力有不逮,像某老牌大厂的数据库已经饱受诟病,亟待更智能的数据解决方案出现。
FusionData:重定义数据基础设施
“把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界”,正是这样的企业愿景与使命使得华为将重定义数据基础设施视作责无旁贷之举,而其在计算、接入、存储、处理和数据使能等领域的长期积累与重大突破将之化为了现实。
华为智能数据解决方案FusionData,包含数据接入、数据处理、数据使能等部件,通过汇聚各方数据提供“采-存-算-管-用”全生命周期处理能力,帮助打通全域数据连接、建立统一的数据平台、提升实时数据服务能力。在其期许中,不久的将来可实现“一家企业一个数据湖、一座城市一个数据湖”,满足居民的生产与生活、企业的运营和发展、城市政府的管理和服务等各项需求,加速全社会的智能化进程。
值得一提的是,华为用以重定义数据基础设施的FusionData中的三个主要部件和模块分别以一座城市和两位伟人来命名,体现了其对行业数字化的理解和释放数据价值的信心。比如FusionData的智能数据连接部件ROMA取“条条大路通罗马”之意,通过多数据源接入、消息和API的统一管理、智能通道选择等技术实现智能全连接,加速数据流动,让应用与数据连接更高效。
其引领多样性计算的特性体现为支持1100多种应用和异构数据源接入,通过开放式数据接入框架可灵活接入第三方数据源;支持分布式消息和API的路由统一配置管理,轻松实现分布式消息和API服务的跨网跨域跨云集成,让数据自由流动;支持数据多通道传输,并且可根据数据特点智能选择传送通道,大幅提升数据接入效率。
FusionData的智能数据处理部件则包含分布式存储FusionStorage、分布式数据库GaussDB和智能大数据解决方案FusionInsight等,通过多类型数据融合存储、融合分析引擎等技术实现从单一处理到智能融合处理,加速实现数据价值。其中,上个月刚刚发布的全球首款人工智能原生GaussDB得名于数学王子家高斯,显然它被寄望于拥有如高斯一般的天才头脑——GaussDB首次将人工智能技术融入分布式数据库的全生命周期,可实现自运维、自管理、自调优、故障自诊断和自愈;并通过异构计算创新框架充分发挥X86、ARM、GPU、NPU多种算力优势,在权威标准测试集TPC-DS上,性能比业界提升50%,排名第一。
智能数据处理部件提供的多类型数据融合存储和融合分析引擎技术重定义了数据处理平台,前者通过存储与计算分离技术,打破系统烟囱式建设;通过智能分布式存储的多协议融合技术,实现一份数据同时支持数据库、大数据、AI等多种业务的分析需求,让融合数据分析成为可能。而后者支持数据库、大数据、AI多引擎融合分析和多样性算力统一调度;通过统一架构降低海量数据处理难度,实现极简分析。
FusionData的智能数据使能部件DAYU则得名于大禹,这位上古帝王最出名的即是治水功绩。所谓“堵而抑之,不如疏而导之”,DAYU的作用亦是通过智能元数据感知和OneQuery Tuobo技术构建起数据处理与业务创新的桥梁,从而提升业务体验、让业务更敏捷。
具体而言,智能元数据感知通过AI技术自动感知和采集多个系统的元数据,并进行智能化分级分类,生成全局统一的数据视图,使得数据寻找秒级响应;OneQuery Tuobo则提供了统一的数据访问接口,实现多数据源、多类型数据的统一访问,简化数据加工流程,令数据获取速度提升10倍以上。
做大生态:变技术突破为推动社会进步的力量
“孤举者难起,众行者易趋”,尽管FusionData的功能已经极为强大,也同样需要一个成熟健全的生态系统才能真正把技术突破变成推动社会进步的力量。
已经从构建生态、融入生态中尝到不少甜头的华为显然不会忘记这点,实际上对于“如何做大智能数据基础设施生态”这个问题已经经过了通盘考虑。周跃峰表示,随着FusionData的推出,华为将会继续在全球范围与客户和合作伙伴携手创新,共建开放、合作、共赢的产业生态。
据介绍,这个生态的完善正从行业应用、平台工具、标准组织和社区三个层面着手进行。目前为止,FusionData已经服务于全球60多个国家及地区的1500多个客户、拥有500多家商业合作伙伴,并广泛应用于金融、运营商、政府、大企业等行业。
“华为持续优化自有芯片、数据库等产品的性能,让它们可以跑的更好;同时,华为与客户和合作伙伴的合作严格遵循各个国家的法律法规。我们的产品能力会越来越强、生态会越来越强,这也是很自然的(事情)。”周跃峰在采访的最后如是展望道。
就在FusionData发布的第二天,我国5G商用牌照也正式颁发了,可以嗅到一个波澜壮阔的大时代正在铺呈开来。全社会、全行业的数字化、智能化将是其目标,对于数据价值的挖掘与释放则是数字化、智能化的关窍所在——FusionData在手,相信我们终将见证这个目标的实现。