面向物联网的装备数据共享平台建设方案研究
扫描二维码
随时随地手机看文章
引言
随着物联网技术的高速发展,其应用领域将逐步涵盖包括物流、零售、制造业、医疗、消防、交通、军事等在内的社会生活的各个方面。作为继计算机、互联网之后世界信息产业的第三次浪潮,物联网将信息终端延伸和扩展到各种物品之间,与此同时也会产生比互联网更为庞大的数据信息。这些数据无时无刻不在持续产生,形式多样而且数量惊人。物联网中的数据大体包括以下几类:物品识别码(即RFID标签数据)、地址/标识符数据、物品基本信息、位置和环境数据、传感器数据、履历档案数据、常用物理模型数据和设备的状态及命令数据等。总得来说,物联网数据普遍呈现出海量性、共享性、多样性和不确定性等特点,并且包括结构化数据、半结构化数据、流数据、多维数据等多种形式叫这些数据构成了物联网信息资源优势的基础,而实现这些数据的科学表示、高效操作、充分共享和实时交换,是物联网充分发挥其作用的前提。
由于政府的高度重视,国内对于物联网相关技术的研究起步较早,而且发展很快,技术研发水平当前也处于世界前列,研究热度仍在持续升高。在数据研究领域,已经有诸多学者就物联网数据的管理,存储和表示等领域开展了卓有成效的研究,取得了很多有意义的成果。然而就目前来讲,我国装备领域在物联网的研究还存在缺乏顶层设计,重视数据采集,忽略数据管理与挖掘,导致资源共享严重不足等诸多瓶颈因素。为了实现装备各类信息资源的充分共享,必须加强信息共享平台的顶层设计。通过对信息共享数据体系建设方案的研究,制定统一的数据交换与共享标准,建设统一的数据共享与交换平台和统一的接口系统,才能有效地避免装备基础设施建设过程中的重复投资,消除“信息孤岛”,从而有效实现整个装备管理内部信息的高度共享和实时交换。
1数据体系架构
由于装备数据体系结构庞大,各业务、模块之间关系复杂,因此在针对其数据共享平台进行设计过程中,在满足数据交换共享和数据安全需求的前提下,应力求简化,保证应用部署和维护的简洁轻量。在这一思路的指导下,数据共享平台体系可以分成数据采集层、数据转换层、数据交换层、数据共享层、信息安全层和主题应用层等六个层次,其基本的数据体系架构如图1所示。
数据采集层包含来自于物联网应用领域的种类多样的装备业务数据,以及各类相关的资料数据,包括各种文本文件、二进制数据文件、XML文件等形式,经过采集终端,被集中存放到数据转换层的前端采集库中。
数据转换层完成数据的标准化转换以方便在整个大系统各业务之间实现信息交互。数据转换层可以依托各种数据转换技术,通过消息中间件,将数据转换为业务应用所需的新格式。一种已有的数据转换实现就是基于PML的交换数据格式,可以对交换数据的描述均采用PML格式来提高平台的扩展性和开放性。
数据交换层的主要实现结构是信息中心(节点),负责收据的汇集、处理和传输功能。数据通过转换层经消息中间件汇集到信息中心(节点)。信息中心(节点)主要实现数据信息的处理和传输功能。其中数据处理涉及的主要功能包括数据存储、数据清洗、数据解密、数据编目和数据审计等,而数据传输实现数据的适配、数据路由、交换桥接和数据发送等功能。此外,信息中心还存储各类数据相应的元数据。
数据共享层对数据中心(节点)的数据进行抽取,提取出可供共享的数据信息,并缓存至数据共享层的共享交换数据库中。这些数据包括各类地址/标识数据,装备动态数据,资源位置数据和模型规范数据等。同时,在共享交换层还设有共享服务管理模块,主要为数据共享交换实现服务发布和管理等功能。
信息安全是基于物联网技术装备信息共享面临的最严峻的问题,本框架在主题应用层和数据共享层之间设置了信息安全层,但整个数据共享平台体系应该考虑信息安全问题的地方远不止于此。信息安全层需要考虑的主要问题包括网络安全、数据加密、访问控制、入侵检测等方面,每个方面都包含着众多需要研究并解决的技术及应用难题。
主题应用层是整个数据体系最顶层,是整个物联网应用技术发挥其巨大信息效能的核心。经过层层筛选和提取的共享信息,经过分门别类,提供给主题应用系统,为各类装备业务用户有针对性地提供其所需求的信息服务(包括装备物流系统、状态管理应用系统、维修保障应用系统、综合分析应用系统、GIS系统等)。主题应用是全方位的,可以完全根据用户需求进行定制和开发,为用户提供查询、浏览和统计等功能,从而真正实现信息的安全、便捷、可靠共享。
2关键技术
物联网作为一个“无所不包”的巨系统,涉及的关键技术很多,包括基础性关键技术RFID、数据存储、处理与表示技术、信息安全技术等,本文探讨的关键技术,仅仅局限于装备数据共享平台体系构建过程中涉及装备数据交换的几项关键技术,包括数据交换网络结构、数据转换技术、信息交换路由技术等。
2.1数据交换网络结构
数据交换网络通常采取两种结构:星型交换网络和网状交换网络。在星型交换网络中,所有端节点都只与同一个中心节点相连接,通过中心实现数据交换;而在网络交换结构中,数据可以在任意两个节点之间直接交换。鉴于装备数据量过于庞大,建立超大型数据中心节点不太现实,而由于数据传输、处理的要求,数据中心必不可少,将每个端节点都建成数据中心则成本太高。因此,一种可行的数据交换网络是分层式混合型数据交换网络。网络建成端节点和数据中心两级,端节点提供数据服务,数据中心承担数据处理和分发任务。每一个数据中心组成星型子网络,为其关联的端节点分发数据;而数据中心则彼此相连,形成网状交换网络,数据中心彼此地为平等,共同依托云平台,共享存储和计算资源。数据网络交换示意图如图2所示。这种结构的数据交换网络,不仅组网方便,扩展性好,节约了建设成本,保证了数据交换的时效性,而且抗毁伤性能也非常好。
2.2数据转换技术
由于物联网数据来源广泛,类型众多,数据转换技术作为实现数据交换的基础,其对于物联网数据共享的重要性不言而喻。理想的数据转换技术并不直接作用于数据库中存放的数据,而是在数据传输分发时,按照基于特定词汇集的公共语言对数据进行格式化,从而实现可靠传输和翻译。在当前技术条件下,欧美的EPC物联网采用了基于PML的信息转换技术。PML(PhysicalMarkupLanguage,物体标记语言)是在计算机网络数据交换公共语言XML(eXtensibleMarkupLanguage,可扩展标示语言)的基础上发展而来的用以描述物联网中所有物品信息的公共语言。PML在包含两个不同词汇PLM核和Savant扩充的标准词汇集的基础上,定义了EPC物联网中所有信息的传输方式,为物联网网络的信息存储、交换提供了标准格式。基于物联网技术装备数据共享平台建设,可以参照这种思路,设计出类似的共同语言,也可以直接采用PML,以提高物联网的通用性。
2.3信息交换路由技术
由于单个数据中心的信息存储和数据处理能力有限,在请求服务可能访问多信息中心数据服务的情况下,数据共享平台设计必须考虑信息交换路由问题。平台应该创建通用代理服务,接收主题应用服务端传输来的PML消息并进行分析,然后根据消息内容配置访问路由,进行基于业务规则的匹配,随后根据不同的分配结果,将用户的服务请求路由到不同数据中心的服务提供者。信息交换路由应能够适用于点对点和一对多等不同路由情况,并能实现可视化路由配置,确保服务请求的数据信息灵活方便、高效准确地送达用户。
3共享交换库建设
基于物联网技术装备数据交换网络的分层式混合型网络结构,装备数据共享平台的多数功能都依托数据中心来实现,因此有必要对数据中心的共享交换数据库设计进行探讨。数据中心的共享交换库应当至少包括元数据库、基础数据库、业务数据库、模型资料库、辅助决策库、主题数据库和交换日志库等七项子库内容。
其中元数据库用于存放系统元数据;基础数据库用于存放各类代码信息、单位机构信息、公共资源信息、空间地理信息等基础信息,以及标准数据应用字典信息,并且为各类业务所通用;业务数据库包括业务信息和业务规则两方面,业务信息指经过数据采集过程从前端数据采集库抽取出来的重要业务信息,经过数据汇集、清洗和编目,规范完整地存储在库中,业务规则是指将各业务本身的标准流程、规范等信息抽取为一系列的规则并存放于库中;模型资料库包含各类公共资料和模型等通用信息资源;辅助决策库采用数据挖掘技术,结合业务数据库和基础数据库中的信息,开发出可以为数据使用人员提供统计分析、模式发掘、智能决策等服务的辅助决策服务产品;主题数据库面向业务应用,以目录形式存储各主题业务经常使用的业务数据,以便于高效检索和交换,同时保持数据动态更新的一致性;交换日志库用于存放数据交换过程中产生的交换日志,以便于平台监管模块或是人工对数据交换历史进行查阅。
4标准规范建设
由于物联网相关标准规范繁杂,世界各国所采用的标准规范也常常不一致,导致标准规范建设成为了物联网建设过程中的一大难题。本节仅从数据共享需求角度简要探讨物联网装备数据共享平台体系建设过程中涉及的标准规范建设的若干方面,以完整展现数据共享平台的宏观架构。
物联网数据共享平台体系建设涉及的标准规范包括:编码代码规范、数据项定义规范、数据采集规范、数据交换格式规范、数据管理使用规范和业务数据规范等。
编码代码规范包括单位、人员、装备、设备、设施、器材、地理位置、通用属性等的数字化名称,即标识码,明确其码长、编码方式及赋码方法。
数据项定义规范包括基础数据及各业务数据表涉及的数据项名称、标识、层次结构、目录代码结构,以及通用数据应用字典的字典项及其标准编码。
数据采集规范应当明确信息采集的数据项内容及含义、数据格式、采集准则、审核机制、采集手段、采集流程、汇集上报方式等。
数据交换格式规范明确使用的标准数据规范格式,包括与其相关的开发技术、数据存储和管理模式,以及设计策略等。
数据管理使用规范包括数据在管理、运行、维护、使用过程中涉及的人与机构的任务职责、工作流程、管理规定、更新机制和使用规定等。
业务数据规范的制定以集成和统一各行业已有内部规范为主,在不影响数据交换使用的前提下尽量适应各业务原有标准,避免数据迁移困难。
5结语
基于物联网技术装备数据共享平台体系建设的目的是为了充分发挥物联网技术下装备信息资源优势,实现海量数据的合理组织、科学管理、快捷传输、充分共享和高效利用。本文面向物联网装备数据实际使用需求,基于数据中心和服务端节点两层混合式网络结构,构建了物联网数据共享平台。在此基础上,进一步针对数据共享平台体系建设过程中涉及的关键技术,共享交换库建设,标准规范建设等问题作了初步探讨,提出了一些初步意见,形成了一套相对完整的体系建设方案。文章提出的建设方案在主要功能点,都依托数据中心实现,而单个数据中心的信息存储和处理能力有限,在面向大型物联网应用时,还存在分布式存储和计算的问题,因此基于云技术的物联网数据存储、处理和传递问题的解决方案,还需要后续做进一步探讨。
20211222_61c3319e76bd7__面向物联网的装备数据共享平台建设方案研究