时间：2022-12-20 02:30:02 | 来源：信息时代
时间：2022-12-20 02:30:02 来源：信息时代
多媒体信息检索 : 通过分析其特征,按相似匹配度量模式,在文本、图形、图像、视频和音频等为表现形式的各种媒体数据库中,与用户查询进行比较,将查找到的相似度高的一组信息反馈给用户的一种信息检索。其中,用户查询请求可以通过自然语言文本或是关键词来表达,也可以提交示例查询。例如,一幅图像或一段音乐。由于早期计算机处理能力的限制,无法实现快速处理图像、视频和音频等信息,信息检索的主要对象以纯文本文档为主,传统的信息检索也就是指针对无结构的文本的检索。为了检索图像、视频和音频等媒体信息,需要对这些信息进行文本(关键字)标注,采用检索纯文本的检索技术实现对多媒体信息的检索。随着通信网络技术、多媒体技术的迅速发展,多媒体信息已经广泛应用于Internet以及各个领域的信息系统中,采用人工标注检索多媒体信息的方法难以适应发展需要。这不仅由于大量的多媒体标注费时、费力,人工难以胜任,而且图像、视频、音频数据本身包含大量的难以用文本表示的信息线索,由此基于内容的检索(consent-based retrieval,CBR)技术应运而生。
基于内容的检索是指计算机自动对图像、视频、音频等媒体内容进行分析,提取媒体和媒体对象的内容语义特征,根据这些特征和上下文联系进行检索。基于内容的检索特点表现在: 需要采用包括图像处理、模式识别、计算机视觉、语音识别和合成等多媒体综合集成技术实现; 需要直接对图像、视频、音频等媒体内容进行分析,由计算机自动从媒体内容提取特征,建立索引;需要分析具有多样性(视频图像、音频和文字等)的特征; 需要有多样直观的查询方式,如文本(关键词、自然语言)查询、图像和视频的样例查询等; 需要采用相似性匹配技术进行检索,通过相关反馈技术与系统交互逐步求精获取与用户查询相关的文档; 需要以用户可以接受的响应时间检索到用户需求的信息,这是因为多媒体数据库具有数据量大、种类繁多的特点,给检索系统提出了更高的要求。此外,由计算机自动提取的多媒体特征是底层特征,建立底层特征与媒体和媒体对象所具有的高层语义间的关联性技术更是基于内容检索的显著特点。
多媒体数据的内容可以分为从低到高的抽象层次。即,从原始数据抽象出视觉、听觉等具有感知特征的物理层次上描述的底层特征、具体或者抽象的高级概念特征即语义特征;感知特征表达对象的视觉特性,如颜色、纹理、形状、轮廓、运动,物体对象的逻辑关系; 听觉特性,如音高、音色、音质等。概念特征表达对象的语义,包括蓝天、大海这类具体对象的语义描述以及高兴、庆祝等抽象意义的语义特征。对于特定领域来说,还应该有与应用相关的特征,例如人的面部特征、指纹特征以及各种要用到的领域知识。
媒体内容的语义是基于内容检索的基础。目前,基于内容的检索还只停留在以统计数据为基础的底层特征的提取上。以图像为例,仅根据颜色、纹理等底层特征得到的检索结果往往不尽如人意,因为人们对图像的理解是在语义层次上进行的。从底层特征到高级语义特征之间还存在着需要跨越的语义鸿沟(semantic gap),计算机难以自动识别图像的语义。对图像语义的提取,现已提出的方法有将底层的视觉特征映射到高级语义; 借助相关反馈技术通过语义与底层特征相结合填补语义鸿沟,等等。如何描述多媒体内容,使其尽可能与人对多媒体内容的理解一致还是一个尚待解决的问题。
为了在大量的应用中都能使用多媒体内容,实现多媒体内容检索,很重要的一点是需要制定对多媒体内容的描述标准。标准化的内容描述是信息交换、共享和检索的基础。描述声像内容的格式则是一个关键性步骤,而此格式又与信息的存储编码息息相关。所以,MPEG(motion picture experts group,MPEG)专家组着手研究多媒体内容描述接口的编码方案,也就是多媒体内容描述标准MPEG-7。MPEG-7 的正式名称为多媒体内容描述接口(multimedia content description interface),其目标是产生一种描述多媒体内容数据的标准,包括制定一组标准的“描述子”及其“描述模式”(定义描述子的结构和相互关系)。这种描述与多媒体信息的内容一起,支持对用户感兴趣的图像、音频、视频等信息以及它们的组合的快速有效查询,满足实时、非实时以及推(push)-拉(pull)应用的需求。
图1 MPEG-7的范围
在线咨询
