基于物联网的信息数据与多媒体信息检索

1.3  多媒体应用系统的组成

多媒体应用系统由应用软件、海量多媒体数据管理系统、用户界面代理和网络组成。其中，海量多媒体数据管理系统可存储和管理多媒体对象内容，并提供与存储、发现、检索和保存多媒体对象内容相关的服务。具体的说，它由多媒体对象服务器、索引服务器、句柄系统组成。

多媒体对象服务器上的多媒体数据包括文本、图像、音频、视频等,这些信息必须存储在所有用户都能访问到的网络资源上，此系统资源称为对象服务器。服务器的数目取决于应用系统所支持的数据对象类型，如：文档数据库服务器；文档图像和静止视频；全运动视频服务器等，应用时可根据需要选择组合。

对象服务器的基本服务包括存储不同的数据类型、根据客户请求传输数据、数据对象的分层存储功能、数据备份、复制数据对象时服务器之间高速的数据传输。实现对象服务器的数据库系统可支持査询、浏览、检索、创建和存储、更新等数据库的基本操作。对于多媒体对象而言，存储操作还附带有它的动作（如所找到对象的拷贝）。下列三种典型的数据库管理系统是服务器的实现基础:其一是扩展现有的关系数据库管理系统,用大二进制对象支持各种多媒体对象。二是把关系数据库中的二进制典型扩展为类和继承的概念，以支持这些面向对象特性的数据量管理系统并提供对象程序设计前端扩展，以便成为对象关系数据库;三是使用纯数据库。

索引服务器是关于多媒体对象的元信息库，用于发现信息。元数据就是“说明数据的数据”。例如，标题、作者、主题、标识符和位置等，都是关于多媒体对象的元信息，根据这些元数据就能査到所需要的多媒体对象。在大规模多媒体数据的范围建立合理分层的元信息库，对于多媒体对象的査询、检索是必不可少的。

句柄系统由于其海量多媒体数据分布式的存储和管理具有更大的规模范围，具有跨地区、跨库的性质，故数据的存储、管理和性能提出了进一步的挑战。数字对象是数字图书馆的基本单元，它存放在数据仓库中，因此，在对象数据库和元信息库之上，还需要一个高层的分布式信息管理系统,它可提供数字图书馆资源的全局名字服务。

句柄系统包括一个开放协议，一个名字空间和一个参考实现。按照协议,这个分布式的计算机系统将存储数字资源的名字，即句柄,并通过该系统快速地将这些名字解析为定位、访问和在其他方式利用这些资源时所需要的信息。

2  多媒体数据库

数据库是数字图书馆信息存储和管理的基础，是多媒体信息内容的载体,可用来存储和管理多媒体元信息以及为某些搜索引擎提供必要地支持。多媒体对象数据库从逻辑功能的角度强调对信息资源内容，即多媒体对象的管理。采用面向对象技术有助于实现多媒体数据的有效存储和管理。多媒体数据库的发展和应用是多媒体特性和面向对象技术逐渐成熟的必然。

2.1  多媒体数据库的特征

多媒体数据库的主要特点之一就是信息数据量巨大，跟常规数据相比，数据量可高达几十万倍。如一个100MB的硬盘可以存放一个中等规模的常规数据库，且同一空间只能存放10分钟的电视节目。

其次是数据模型复杂，由于常规数据都是不可再分的原子数据，数据结构简单明了。多媒体数据则对应一个复杂对象，即包含多媒体本身（一段视频、一张图片），同时还包含多媒体数据的信息（多媒体的元信息）等。

再就是数据长度不固定，因为常规数据项一般都比较小，一般采用定长记录存储常规数据，存取方便，存储结构简单清晰。由于多媒体世界的数据量大小是可变的,无法预先估计，因而不可能用定长记录来存储多媒体数据。

该数据库声音与数据要同步，在视频文件中一般都含有声音数据,二者的严格同步是高质量视频媒体传送的重要保证。

此外，就是数据传送的连续性，多媒体数据无论是声音媒体还是视频媒体，都要求连续传送或输出，否则将导致严重失真，影响效果。

最后是数据定义及操作用传统SQL语言难以实现,传统书籍可用规范关系表示，并且可方便地定义并施行各种标准操作,如投影、选择、联接和各种集合运算，从而可为用户提供简明的数据视图以及简单方便而功能强大的SQL语言。而多媒体数据的复杂性决定了其描述语言、数据操作语言或存储结构、存取路径的复杂性。传统的关系数据库很难实现多媒体数据库的管理。

2.2  面向对象技术

对象是面向对象技术中的核心概念，任何实体都能称为对象。在面向对象的数据库系统中，对象是数据库的基本单元。

类是面向对象技术中的重要概念,类是一组有共同特性的相似对象的抽象，类可将该组对象的共同特性集中起来，以说明该组对象的能力和性质。在面向对象数据库系统中，类的概念和传统关系数据库系统中关系的概念类似。

对于数据库的封装和信息隐蔽性来说，封装性在面向对象技术中是对象的封装性，是用户所能看到的只能是对象的接口提供的界面,它可有效地实现消息隐蔽。

复合和继承是面向对象技术中两种类间关系。复合关系对应客观世界中事物之间的部分整体关系；继承关系对应客观世界中事物之间的一般特殊关系。两种关系均可从不同程度上实现代码复用。

多态性和动态绑定中的多态性是面向对象技术中的重要特性，一般含义是某一论域中的元素可有多种解释。动态绑定是对象技术的另一个重要特征，它可使具有多种解释的论域元素在程序运行中选择准确地解释成为可能。多态和动态绑定也使得面向对象数据库系统的数据访问的透明性成为可能。2.3面向对象技术在多媒体数据库中的应用

根据面向对象的概念，多媒体对象除了多媒体数据本身和多媒体元信息以外，还应包含多媒体数据本身和多媒体元信息以上的操作。并且对于不同的媒体应该定义不同类型的操作。例如对于电子图书可定义前一页、下一页、下一章等操作；对于音频/视频可定义快进、快退、暂停等操作。这些数据和操作对于用户而言是透明的，用户不必知道多媒体对象的具体存放格式和位置以及操作的具体实现机制。通过多媒体对象的对外接口可实现对多媒体对象的控制。通过多媒体对象可解决其数据量巨大和长度不固定所带来的问题，另外对象机制所带来的信息隐蔽也有助于解决版权保护、资源复制等问题。

继承和组装是客观世界中实体间的一般特殊关系和部分整体关系，多媒体对象以及它们之间的关系就形成了多媒体数据模型。

多媒体对象对数据和方法的封装，对于保证视频、音频数据同步性和连续性具有一定的作用。

多媒体对象数据库不一定仅应用一种或同型的数据库系统，也可以是多种异构的数据库系统，多媒体数据的有效存储和管理应该将多媒体数据本身和多媒体元信息两部分同时考虑进去。以便于实现基于内容的检索和全文检索在应用中的实现。

3  多媒体内容处理技术

多媒体内容的处理分为3大部分：内容获取、内容描述和内容操纵。也可将其看成是内容处理的三个步骤，即先对原始媒体进行处理并提取内容，然后用标准形式对它们进行描述，以支持各种内容的操纵。其内容处理方式如图1所示。

图1中，内容获取(Populating)就是通过对各种内容的分析和处理而获得媒体内容的过程。多媒体数据具有时空特性，内容的一个重要成分是其空间和时间结构。内容的结构化(Structuring)就是分割(Segmenting)出图像对象、视频的时间结构、运动对象，以及这些对象之间的关系。特征抽取(Extrac-tion)就是提取显著的区分特征和人的视觉(Visual)、听觉(Auditory)方面的感知特征来表示媒体和媒体对象的性质。

内容描述(Description)就是描述在以上过程中获取的内容。目前.MPEG-7专家组正在制定多媒体内容描述标准。该标准主要采用描述子(Descrip-tion)和描述模式(Scheme)来分别描述媒体的特性及其关系。

内容操纵(Manipulating)就是针对内容的用户操作和应用。有许多这方面的名词和术语。其中査询(Query)是面向用户的术语，多用于数据库操作；检索(Retrieval)是在索引(Index)支持下的快速信息获取方式;搜索(Search)常用于Internet的搜索引擎，含有搜寻的意思，又有在大规模信息库中搜寻信息的含义；摘要(Summarization,Excerpt)是对多媒体中的时基媒体(如视频和音频)的一种特殊的操作。现在已经熟知了文献摘要的含义，而在内容技术支持下,也可以对视频和音频媒体进行摘要，获得一目了然的全局视图和概要。同样，用户可以通过浏览(Browsing)操作，来线性或非线性地存取结构化的内容。另外，基于内容的技术不仅仅用在多媒体信息的检索和搜索方面；检索仅仅是信息存取的一个方面。过滤(Filtering)就是与检索相反的一种信息存取方式。用过滤技术可以实现个性化的信息服务。

4  未来主要研究的问题

基于物联网的多媒体信息处理是综合的多特征检索技术。多媒体具有各种视觉和听觉特征以及其他时间和空间关系。而且同一种特征具有不同的表示方法。例如同样是颜色特征，可以有直方图特征、颜色距、颜色集、主颜色等多种特征表示法，它们可从不同的角度表示媒体的特征，而如何有机地组织这些多种特征,使应用能够调用合适的特征和特征表示来支持査询,并按照用户的査询要求合并各种特征的检索结果，是未来值得研究的问题。

综合利用两种和多种媒体的特征,容易达到较高的检索率。因此,今后的研究还包括如何综合利用多种异构特征来支持用户的査询？各种单一特征的査询结果如何融合？如何利用特征之间的互补能力提高检索效率？如何既考虑一般性特征,又考虑特定领域的特征等等。

综合还意味着釆纳其他学科领域的成果,如传统的基于文本的信息检索技术、知识发现、人工智能等领域中的方法，像布尔检索模型、多个异构特征査询表达和检索执行、知识库、分类和聚类算法、用户交互行为的机器学习等。这里需要说明的是，基于内容的检索系统要充分利用文本、关键字和其他客观属性。基于内容检索系统并不排斥这些常规的检索途径，相反,要充分利用现有的文本检索功能并集成到基于内容的检索系统中，以便向用户提供完备的检索能力。

5  结语

总之,多媒体信息检索技术是一门综合了数字视频/图像处理、语音识别/语言处理、多媒体数据库、模式识别、人工智能等学科的计算机应用技术。随着这些学科的发展，多媒体信息检索技术会不断成熟完善,对社会信息化产生更加巨大的推动作用。