时间：2022-12-06 02:30:01 | 来源：信息时代
时间：2022-12-06 02:30:01 来源：信息时代
音乐检索 : 从大量的音乐数据中找到所需音乐的一种音频检索方法。数字音乐有两种不同类型: 基于乐谱(musical scores)的符号数据和基于声学信号(acoustic signals)的音频数据。前者的代表是MIDI,后者的代表主要是WAVE和MP3。音乐检索是音频检索研究中最活跃、最富有成果的领域。从2000年以来,每年都召开了专门的音乐信息检索国际会议。音乐检索方法有两种: 基于音乐信息的外部特征描述和基于内容的检索。基于内容的检索或者基于描述和内容的检索是主要的发展方向。基于内容的检索又主要是基于音乐的旋律。
基本的旋律轮廓的检索方法具有如下特点: ①使用旋律的绝对音高序列。其优点是可以对音乐旋律进行十分精确的检索,但对检索者要求较高。演奏者、乐器改变,调号会改变,音高序列也将不同,会导致检索失误。②使用相对音高序列的旋律轮廓,查准率不高。③综合使用音高、音长和音强信息构成音乐的旋律轮廓。基于实例的检索和“哼唱”检索均属这一类。
在音乐检索中,音乐文件的分析是关键。
1. 音乐文件处理
检索音乐文件需事先对音乐文件进行各种处理,主要处理技术有特征提取、聚类分析、近似匹配。
(1)特征提取: 反映音乐旋律的特征主要有音高、音长和节拍。音高是根据相邻音程计算的,也叫音高轮廓描述。提取音高的算法主要有:基于时域的自相关系数模型、波形特征计数模型和振荡器模型,及基于频域的基于规则、基于统计的方法。音长是每个音持续的时间段描述。在音乐分类和分割领域,还有三种最常见的特征: 频谱质心、变迁、滑动,它们是按一定的时间单位计算得出时间轴上的一系列特征。
(2) 向量表示及聚类/分类: 提取的每个音乐文件的特征被转化成一组向量,并被用来构造分类向量树或者进行聚类。无论哪种方法,原始库越大,分类/聚类和检索的效果就越好。
(3)匹配:提取特征信息并向量化后,就可以进行提问音乐和音乐库中音乐之间的相关度计算,相关度大于阈值的库中音乐按照相关度排序,并作为检索结果输出。
2.基于乐谱的符号数据的检索
基于乐谱的符号数据是以一定格式部分或完整地记录下的乐谱,在需要播放的时候,通过硬波表或软波表的方式,合成标准的音频信号。一般而言,符号数据音乐由按时间顺序混合排列的事件组成,包括音符、滑音数据、击键速度、控制器、音色变化、波形文件、字符串等。
(1)建库:建库过程:原始库→特征提取→聚类/分类→特征库。基于乐谱的音乐用符号数据表示,不需要预处理,直接提取音轨、通道、音高、音长等重要特征形成特征向量。在开始建库时,可以取一部分音乐样本做聚类分析,形成若干类。新加入的音乐经过相关计算被归于某类或者新建类。
(2)检索:检索过程:检索输入→去噪→特征提取→相似匹配→结果排序输出。由于输入的检索样本大多有噪音,所以首先要去噪。在相似计算时,先确定样本所在类,再在该类中进行个案的相似性匹配。
3.基于声学信号的音频数据的检索
(1)建库:建库过程:原始库→解码→预处理→特征提取→聚类/分类→特征库。基于声学信号的音频数据音乐是经过声音的数字化处理的,通常采用的是脉冲代码调制编码,通过抽样、量化、编码三个步骤将连续变化的模拟信号转换为数字编码。因此,在建库时需要先解码,解码后经过一系列的重构实现频域到时域的转换,还原音频信号。在提取特征前,需要分离不含人声的纯乐曲部分、进行子带划分、用MDCT(modified discrete cosine transform)提取MDCT系数。在提取特征时还需要取出纯伴音部分,因为它不是音乐的主旋律,保留它会影响特征提取结果,从而影响检索效果。解码和预处理的同时还可能进行数据压缩。MP3文件经过解码、重构和映射、降低采样率、通道合并,文件体积比原来小4～5倍,效率提高4～5倍。
(2)检索:检索过程:检索输入→预处理→特征提取→相似性匹配→结果排序输出。
4.检索请求
检索输入的类型可以是样本、哼唱、乐句、键盘弹奏等,其中的样本检索和其他媒体检索一样,提供样例,请求检索相似音乐。乐句检索即输入表示全曲主题的一段乐曲的音高数字(1234567)。键盘弹奏则是利用单频音键盘弹奏检索提问的片断作为检索请求。研究最活跃也最有成效的是哼唱检索,哼唱一小段音乐旋律作为检索请求。最早的哼唱检索系统是1995年由A.Ghias等人发表的。他们只用了三个符号来表示曲调音高的变化,采用最大相同符号序列匹配法比较两段旋律的相似程度。McNab等人实现了第一个可以在互联网上进行哼唱检索的系统。他们采用Golden-Rabiner方法来提取基频,然后根据能量和基频来分割音符,最后以音符作为最小匹配单元来进行搜索。他们的哼唱检索系统MELDEX中有9400首歌曲。
在线咨询
