大数据质量管理有什么策略
扫描二维码
随时随地手机看文章
在信息时代,数据逐渐成为一种资产,数据质量成为决定资产质量的一个重要方面。何为资源化,是指大数据成为企业和社会关注的重要战略资源,并已成为大家争相抢夺的新焦点。因而,企业必须要提前制定大数据营销战略计划,抢占市场先机。随着大数据的发展,越来越丰富的数据给数据质量的提高带来了新的挑战和困难。
大数据质量管理有哪些策略。中琛魔方大数据平台(www.zcmorefun.com)表示数据质量管理要形成完善的体系,建立持续改进的流程和良性机制,不断监测数据质量的波动和分析数据质量规律,及时更新数据质量监测的手段和方法,保证系统的数据质量能够持续掌握,最终达到数据质量的稳定状态,为业务系统提供良好的数据保障。
一种数据质量策略,从建立数据质量评价体系、落实质量信息的采集分析与监控、建立持续改进的工作机制和完善元数据管理4个方面,多方位优化改进,最终形成一套完善的质量管理体系,为信息系统提供高质量的数据支持。
1、信息系统数据质量
信息由数据构成,数据是信息的基础,数据已经成为一种重要资源。对于企业而言,进行市场情报调研、客户关系维护、财务报表展现、战略决策支持等,都需要信息系统进行数据的搜集、分析、知识发现,为决策者提供充足且准确的情报和资料。对于政府而言,进行社会管理和公共服务,影响面更为宽广和深远,政策和服务能否满足社会需要,是否高效地使用了公共资源,都需要数据提供支持和保障,因而对数据的需求显得更为迫切,对数据质量的要求也更为苛刻。
2、大数据环境下数据质量管理面临的挑战
随着三网融合、移动互联网、云计算、物联网的快速发展,数据的生产者、生产环节都在急速攀升,随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天,越来越多的企业业务和社会活动实现了数字化。
大数据时代下的数据与传统数据呈现出了重大差别,直接影响到数据在流转环节中的各个方面,给数据存储处理分析性能、数据质量保障都带来了很大挑战。由于以上特性,大数据的信息系统更容易产生数据质量问题:
(1)在数据收集方面,大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。
(2)由于规模大,大数据获取、存储、传输和计算过程中可能产生更多错误。采用传统数据的人工错误检测与修复或简单的程序匹配处理,远远处理不了大数据环境下的数据问题。
(3)由于高速性,数据的大量更新会导致过时数据迅速产生,也更易产生不一致数据。
(4)由于发展迅速,市场庞大,厂商众多,直接产生的数据或者产品产生的数据标准不完善,使得数据有更大的可能产生不一致和冲突。
(5)由于数据生产源头激增,产生的数据来源众多,结构各异,以及系统更新升级加快和应用技术更新换代频繁,使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象,再加上数据收集与集成往往由多个团队协作完成,期间增大了数据处理过程中产生问题数据的概率。
3、数据质量管理策略
为了改进和提高数据质量,必须从产生数据的源头开始抓起,从管理入手,对数据运行的全过程进行监控,密切关注数据质量的发展和变化,深入研究数据质量问题所遵循的客观规律,分析其产生的机理,探索科学有效的控制方法和改进措施;必须强化全面数据质量管理的思想观念,把这一观念渗透到数据生命周期的全过程。
大数据概念应用到IT操作工具产生的数据中,大数据可以使IT管理软件供应商解决大广泛的业务决策。IT系统、应用和技术基础设施每天每秒都在产生数据。大数据非结构化或者结构数据都代表了‘所有用户的行为、服务级别、安全、风险、欺诈行为等更多操作’的绝对记录。大数据分析的产生旨在于IT管理,企业可以将实时数据流分析和历史相关数据相结合,然后大数据分析并发现它们所需的模型。反过来,帮助预测和预防未来运行中断和性能问题。进一步来讲,他们可以利用大数据了解使用模型以及地理趋势,进而加深大数据对重要用户的洞察力。 他们也可以追踪和记录网络行为,大数据轻松地识别业务影响;随着对服务利用的深刻理解加快利润增长;同时跨多系统收集数据发展IT服务目录。