数据仓库(数据库)

时间：2022-11-14 04:30:01 | 来源：信息时代

时间：2022-11-14 04:30:01 来源：信息时代

    数据仓库 : 面向主题的(subject-oriented)、集成的(integrated)、相对稳定的(nonvolatile)、随时间变化的(time-variant)数据集合,用来支持管理决策。它具有如下特征:
(1)面向主题的:主题是指宏观分析领域涉及的分析对象,面向主题的数据组织是指在较高抽象层次上对分析对象的数据给予完整、一致的描述。而传统的操作型系统是面向功能性应用进行数据组织的。
(2)集成的:数据仓库中的数据是从原有多个分散的数据源中抽取来的。数据源中的数据进入数据仓库之前,要经过必要的转换和集成,以达到数据的一致性,具体包括格式转换、消除冲突与冗余、运算、综合、设置时间属性、设置缺省值等。在数据仓库的所有特点中,集成是最重要的。
(3)相对稳定的:数据仓库中的数据在某个时间段内保持不变,数据定期加载,加载后以快照的形式存在于数据仓库中,一般不再进行修改。过期数据可根据需要从数据仓库中移出。
(4)随时间变化的:数据仓库的数据随时间不断追加、积累,反映较长历史范围内的数据变化,加载到数据仓库中的数据均包含时间属性。
数据仓库系统是一个包含多个层次的体系结构,如图1所示。

图1 数据仓库系统体系结构

(1)数据源:是数据仓库系统的基础,是整个系统的数据源泉,通常包括企业内部信息和外部信息。内部信息包括存放于数据库管理系统(DBMS)中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等。
(2)数据的存储与管理:是整个数据仓库系统的核心。针对数据源的操作型数据和外部数据,进行抽取、清洗、转换、加载到数据仓库中,并按照主题进行重组。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库(数据集市)。数据仓库在运行过程中,按一定时间周期,进行增量加载(刷新)。
(3) OLAP(online analytical processing,联机分析处理)服务器: 对分析需要的数据在有效集成后,按多维模型予以重组,以便进行多角度、多层次的数据分析。其具体实现可以分为: ROLAP(relational OLAP)、MOLAP(multidimensional OLAP)和HOLAP(hybrid OLAP)。
(4)前端工具:主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库或OLAP服务器的应用开发工具。
数据仓库的研究,最早可以追溯到20世纪70年代MIT(massachusetts institute of technology)对最优技术架构的探索,MIT研究人员首次提出将操作型数据处理与分析型数据处理相分离,认为两者处于技术架构的不同层次中,并各自拥有独立的数据存储和完全不同的设计准则。1988年,针对日益增长的信息孤岛,力求解决全企业数据集成问题,IBM首次提出了“信息仓库(information warehouse)”的概念,将其定义为:“能够支持最终用户全部业务管理,并支持数据质量管理的一个结构化的环境”,并提供了相关的工具。1991年,William H Inmon在其出版的“Building the Data Warehouse”一书中,明确给出了数据仓库定义,并被广为接受,同时也给出了基于关系模型的数据仓库建设的原则和方法,这也奠定了其在数据仓库领域的“数据仓库之父”的地位。1996年,Ralph Kimball发表“The Data Warehouse Toolkit”,提出了数据集市的概念和维度建模的方法,对如何面向分析需求,优化数据模型给出了一系列的建设指导,由此形成了基于关系模型的数据仓库和基于多维模型的数据集市的两大设计理念。1998年,William H Inmon出版“Corporate Information Factory”一书,推出了新的业务智能(business intelligence,BI)架构CIF(corporate information factory),该架构包括两种用于业务智能的数据结构,一个是数据仓库,另一个是数据集市。William H Inmon认为数据仓库主要是存储来自于不同数据源并经过集成的数据,同时可作为数据集市的数据源,其有效的设计方法是基于实体—联系数据模型和规范化技术,而数据集市是服务于一组特定群体的分析需求的一种数据结构,目前较为流行的数据集市是为联机分析处理而建立的,其有效的设计方法是多维数据模型。随着应用的深入和信息技术的发展,对数据仓库的实时性和智能性提出了更高的要求,实时数据仓库(real-time data warehouse)、主动数据仓库(active data warehouse)已初现端倪。与此同时,面向复杂数据类型的数据仓库,如空间数据仓库(spatial data warehouse)、时空数据仓库(spatial-temporal data warehouse)、多媒体数据仓库(multimedia data warehouse)等也在不断的发展中。