时间：2022-11-20 22:30:01 | 来源：信息时代
时间：2022-11-20 22:30:01 来源：信息时代
数据粒度 : 数据仓库中数据单元的细节程度或综合程度的级别,是数据仓库设计的关键问题之一。
数据粒度的粗细不但影响存放在数据仓库中数据量的大小,同时也对查询性能和所能回答的查询种类产生限制。数据粒度越粗,细节程度越低,所能回答细节问题的能力就下降,但能够使得查询的效率提升; 数据粒度越细,细节程度越高,所能回答查询的种类就越多,但会占用大量的数据空间,使得查询效率降低。
数据仓库开发者需要解决的重要设计问题之一是完成数据仓库中数据粒度的确定,这是一个反复循环的过程。一般方法是利用常识,建立数据仓库的一小部分,让用户去访问这些数据,然后听取他们的意见,根据反馈意见再调整数据的粒度。
该过程一般包括:
(1)数据量估算:数据粒度的确定首先需要粗略估算数据仓库中将来的数据行数和所需直接存取存储设备(direct access storage device,DASD)的规模。在确定将要创建的所有表的基础上,再估计每张表中行的长度(字节数),一般估计出一个上下界(最大长度和最小长度),然后估计出一年及五年内表中行数可能的最大值和最小值。最后,将各表中行数可能的最大值和最小值分别乘以数据的最大长度和最小长度,再累加上索引数据占用的空间,就可以估算出最终占用的数据空间总量的大小。
(2)溢出存储器的使用:数据仓库在建立并使用一段时期后,许多数据变得很少使用,称之为不活跃数据(dormant data)。将不活跃数据转移到溢出存储器(overflow storage)上,就可以为高性能、活跃数据的有效使用清除障碍,进而提高整个环境的性能。存放不活跃数据的溢出存储器是数据仓库的一个重要组成部分,它对于数据粒度的设计有很大影响。有了溢出存储器,设计者就可以重点考虑活跃数据的粒度级别设计。
(3)数据粒度级别的确定:在很粗粒度级别上建立基于磁盘的数据仓库,需要大量的资源来处理数据;在很细粒度级别上建立基于磁盘的数据仓库,许多分析必须基于溢出存储器中的数据进行。因此,确定合适的粒度级别首先需要进行合理的、有根据的推测,并反复分析来改进这个推测。同时,也需要考虑数据仓库中各个不同的业务分析的需求,使得数据仓库中的粒度粗细级别能适应绝大多数业务分析需要。
在线咨询
