时间：2022-12-22 08:30:02 | 来源：信息时代
时间：2022-12-22 08:30:02 来源：信息时代
高维数据挖掘 : 针对高维数据进行的数据挖掘。高维数据是指所处理的数据记录有较多个属性(可能有几十、几百或成千上万个属性),如交易数据、文档词频数据、用户评分数据、生物序列数据、Web使用数据、基因表达数据、用向量空间模型表示的文档数据及多媒体数据等。
高维数据挖掘的最大问题是维灾。维灾主要表现在两个方面: 一方面随着维数的升高,索引结构的修剪效率迅速下降,当维数增加到一定时候时,采用索引结构还不如顺序扫描; 另一方面,在高维空间中由于查询点到它的最近邻和最远邻在很多情况下几乎是等距离的,最近邻的概念常常会失去意义。这样,如果将用于低维数据的挖掘方法直接应用于高维数据可能会产生完全不同的结果。由于维灾使索引结构的性能下降或失效,从而使得算法的复杂度增加,导致查询效率的下降。
高维数据挖掘的主要工作如下:
(1)高维空间中的距离函数或相似性度量函数设计: 通过重新定义合适的距离函数或相似性度量函数。
(2)高效的高维数据相似性搜索算法: 设计更为高效的相似性搜索算法,包括: 对现未涉及或研究较少的其他类型高维数据相似性搜索方法的研究; 对现有高维索引结构或搜索算法性能的改进。
(3) 高效的高维数据聚类算法和异常检测算法: 在高维索引结构失效的情况下,在聚类算法或异常检测算法中采用并行算法、增量算法以及采样技术等提高算法的效率。
(4)在高维空间中对失效的问题的处理: 在高维情况下,最近邻的概念失去了意义,从而也会导致基于距离的聚类问题和异常检测问题失去意义。这些问题在高维情况下需要重新进行定义,并设计相应的挖掘算法。
(5)选维和降维: 通过选维或降维,将高维数据转换为低维数据,然后采用低维数据的处理方法进行处理。研究有效的选维和降维技术是解决高维问题的重要手段之一。
在线咨询
