当前位置:首页 > 物联网 > 物联网技术文库
[导读] 随着大数据基础技术的逐渐完善,大数据发展进入应用阶段,但是由于发展时间晚以及数字化基础相对薄弱,我国大数据产业尚处于初级阶段。面对如此庞大激增的数据量,常规软件无法在一定时间内实现数据的捕捉、管

随着大数据基础技术的逐渐完善,大数据发展进入应用阶段,但是由于发展时间晚以及数字化基础相对薄弱,我国大数据产业尚处于初级阶段。面对如此庞大激增的数据量,常规软件无法在一定时间内实现数据的捕捉、管理与处理,需要新的数据处理模式,大数据正是基于以上背景应运而生。

大数据的概念与特征

大数据简单来讲就是海量数据的集合,通过综合数据之间的相互关联性,大数据分析拥有更强的决策力、洞察发现力和流程优化能力,能够应对海量、高增长率和多样化的信息资产。相比于传统的数据处理模式,在容量方面,大数据达到了PB(相当于1024TB、1048576GB)以上级别,这是传统的数据库技术和单部计算机几乎无法存储处理的;在数据处理结果方面,大数据能够通过将不同类别的数据汇总,做出更加系统合理的决策;在价值挖掘方面,大数据覆盖面广阔,实现了各个领域的数据一体化,因而能够通过相互关联的多样化数据及时发现潜在价值信息;在流程优化能力方面,大数据能够打包联合流程所需的各种数据,极大地提高了办事效率。

大数据具有海量的数据规模、快速的数据流转、多样的数据类型、价值密度低和数据在线五大特征。数据量方面,大数据的采集、存储以及计算量都十分巨大,起始计量单位至少是PB(1000个TB)、EB(100万个TB)或ZB(10亿个TB);数据流转速度方面,相比于传统数据处理模式,大数据在数据处理速度上有了跨越式的提升,从而能够极大提升数据流传速度;数据类型方面,大数据包括数字、网络日志、视频、音频等结构化、半结构化以及非结构化数据,数据来源广阔,数据类型十分丰富;价值密度方面,由于大数据采集以全面为主,不设采集门槛,因此采集的大量数据是重复的,无效的,低价值的,必须通过特定的模型及算法挖掘有价值的信息;数据在线方面,区别于磁盘中的离线数据,大数据是永远在线的,能够随时调用和计算。

数据加工成为大数据产业的附加值

大数据产业的价值点体现在数据的处理加工方面。区别于其他产业,大数据产业的“产品”并非以实体方式存在,而是以虚拟的数据结果呈现,更多的是为分析决策提供有力的科学依据,起到关键性的辅助作用。大数据产业的基本要素是海量的数据,虽然数据本身价值量比较固定,但是大数据企业可以根据数据之间的关联性,通过特定的模型及算法,对数据进行二次“加工”,即处理分析之后,便能够发掘隐藏在数据中的价值信息,从而实现数据的“增值”。

信息化时代,大数据挖掘信息潜在价值的能力至关重要。各个产业信息化的发展给大数据产业奠定了大量的数据基础,使得大数据企业能够依据海量的数据资源挖掘数据潜在价值,实现对目标信息的获取。比如,Target超市以20多种怀孕期间孕妇可能会购买的商品为基础,将所有用户的购买记录作为数据来源,通过构建模型分析购买者的行为相关性,进而准确地推断出孕妇的具体临盆时间,这样Target的销售部门就可以有针对的在每个怀孕顾客的不同阶段寄送相应的产品优惠卷。

大数据发展进入应用阶段,而我国大数据产业成熟度较低

纵观全球大数据的发展历程,一共经历了四个发展阶段。

1990-2002年属于大数据的萌芽阶段,随着数据库技术以及数据挖掘技术的推广,大量商业智能工具以及数据管理系统被开发出来,比如图书馆数据管理系统、仓库数据管理系统、知识管理系统。

2003-2006年属于大数据发展的突破阶段,随着手机以及个人电脑的迅速普及,大量的Web信息、图像、音频及视频等非结构化数据产生,传统的数据库技术不便实现对这些非结构数据的管理,从而带动了大数据技术的快速突破,标志性的事件是2005年雅虎实行的Hadoop项目,为结构化与复杂数据的快速、可靠分析奠定了基础。

2006-2009期间属于大数据发展的成熟阶段,大数据解决方案逐渐走向成熟,形成了并行计算与分布式系统两大核心技术,谷歌的GFS和MapReduce等大数据技术得到广泛应用。

2009年至今属于大数据发展的应用阶段,随着大数据基础理论发展的不断成熟,人们开始转向大数据的应用研究,大数据开始向商业、教育、工业、医疗、交通等领域渗透。

据统计,我国每年的新增数据量仅为美国的7%,欧洲的12%,并且我国数据资源存在着标准化、准确性、完整性低,利用价值不高的特点。薄弱的产业数据基础严重制约了我国大数据的发展,并且这一现状短期难以改善,只能随着产业信息化发展的不断深入,逐步积累数据资源,强化基础。政策推动方面,我国在2014年的《政府工作报告中》首次出现了大数据一词,2015年的《促进大数据发展行动纲要》标志我国大数据上升到国家战略层次,由此可见,我国大数据发展历程较短,还未形成相关人才、技术积累。

由于数字化基础相对薄弱以及发展时间较晚,我国大数据产业成熟度较低。大数据发展的基础是海量的数字化信息资源,而与美国、欧洲等发达国家相比,我国产业信息化发展起步较晚,产业数字化基础还比较薄弱,数据资源相对匮乏,特别是在农业领域。随着人类步入信息化社会,数据信息变得尤为重要,大数据的发展不仅具有积极的社会意义、巨大的商业价值,于国家层面还拥有巨大的战略意义,而目前我国大数据发展历程较短,尚处于初级阶段,核心技术还有待提高。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

9月2日消息,不造车的华为或将催生出更大的独角兽公司,随着阿维塔和赛力斯的入局,华为引望愈发显得引人瞩目。

关键字: 阿维塔 塞力斯 华为

加利福尼亚州圣克拉拉县2024年8月30日 /美通社/ -- 数字化转型技术解决方案公司Trianz今天宣布,该公司与Amazon Web Services (AWS)签订了...

关键字: AWS AN BSP 数字化

伦敦2024年8月29日 /美通社/ -- 英国汽车技术公司SODA.Auto推出其旗舰产品SODA V,这是全球首款涵盖汽车工程师从创意到认证的所有需求的工具,可用于创建软件定义汽车。 SODA V工具的开发耗时1.5...

关键字: 汽车 人工智能 智能驱动 BSP

北京2024年8月28日 /美通社/ -- 越来越多用户希望企业业务能7×24不间断运行,同时企业却面临越来越多业务中断的风险,如企业系统复杂性的增加,频繁的功能更新和发布等。如何确保业务连续性,提升韧性,成...

关键字: 亚马逊 解密 控制平面 BSP

8月30日消息,据媒体报道,腾讯和网易近期正在缩减他们对日本游戏市场的投资。

关键字: 腾讯 编码器 CPU

8月28日消息,今天上午,2024中国国际大数据产业博览会开幕式在贵阳举行,华为董事、质量流程IT总裁陶景文发表了演讲。

关键字: 华为 12nm EDA 半导体

8月28日消息,在2024中国国际大数据产业博览会上,华为常务董事、华为云CEO张平安发表演讲称,数字世界的话语权最终是由生态的繁荣决定的。

关键字: 华为 12nm 手机 卫星通信

要点: 有效应对环境变化,经营业绩稳中有升 落实提质增效举措,毛利润率延续升势 战略布局成效显著,战新业务引领增长 以科技创新为引领,提升企业核心竞争力 坚持高质量发展策略,塑强核心竞争优势...

关键字: 通信 BSP 电信运营商 数字经济

北京2024年8月27日 /美通社/ -- 8月21日,由中央广播电视总台与中国电影电视技术学会联合牵头组建的NVI技术创新联盟在BIRTV2024超高清全产业链发展研讨会上宣布正式成立。 活动现场 NVI技术创新联...

关键字: VI 传输协议 音频 BSP

北京2024年8月27日 /美通社/ -- 在8月23日举办的2024年长三角生态绿色一体化发展示范区联合招商会上,软通动力信息技术(集团)股份有限公司(以下简称"软通动力")与长三角投资(上海)有限...

关键字: BSP 信息技术
关闭
关闭