大数据时代传统数据仓库面临挑战
时间：2022-04-19 14:03:01 | 来源：行业动态
时间：2022-04-19 14:03:01 来源：行业动态
数据仓库是企业迈向智能化的一座桥梁，借助数据仓库对数据进行深入挖掘，用以辅助决策、指导生产和经营，在企业智能化的过程中扮演重要角色，成为企业IT中非常重要的组成部分。
传统数据仓库典型的部署方式是采用MPP架构，用专用硬件和商用软件搭建，因而其前期投入大，后期使用上也要求很高，这也正是不少中小企业对数据仓库望而却步的主要原因之一。随着大数据时代的到来，对数据进行分析和处理的需求出现了一些新的变化，这些直接影响到数据仓库技术的演进方向。
其中最大的变化体现在数据量和数据类型上，随着移动化和物联网的普及，数据量出现了爆炸性的增长。根据Gartner的预测，到2020年全球联网设备数量将达260亿台，每台设备都是一个数据源，如此众多的设备带来的海量数据对传统数据仓库的存储和处理都带来非常大的挑战。除了数据量之外，今天数据类型也日趋复杂，在传统结构化数据之外出现了大量半结构化和非结构化数据，特别是大量非结构化数据的出现，让主要针对结构化数据设计和优化的传统数据仓库不堪重负。
其次，激烈的市场竞争迫切需要快速甚至要求实时做出决策，流式数据的处理成为数据仓库的重要需求。实时决策意味着实时计算，这需要新的技术架构，不仅要将数据流与现有数据体系进行对接，还要能够对其进行快速的分析。
另外，数据仓库的普及化和平民化也是一个广泛的需求，未来数据仓库的使用不应只限于IT 部门，所有部门的用户都要求能自助访问全真的数据，甚至希望无需IT 部门的协助便可以自行进行数据准备，而且，这个过程中的高访问延迟也是不被接受的。
在应对这些新的趋势时，传统数据仓库显得越来越力不从心。传统数据仓库主要存在以下局限：
? 传统数据仓库往往采用专用硬件和商用软件，采购成本较高，同时可扩展性也很差，在线保留全量、海量数据的目标难以实现；
? 元数据定义僵化，难以灵活集成多种数据源、支持业务部门即席查询的需求；
? 传统数据仓库的建设周期长，从需求分析到建模再到投入使用，长达数月甚至上年，难以适应市场的快速变化。第四，随着数据规模、用户规模的不断增加，数据分析挖掘工具处理数据时间过长，实时分析（例如，欺诈行为识别）SLA 无法满足。
在这样的背景之下，人们开始部署和建设新一代的企业级数据仓库，这就是基于Hadoop的大数据平台，而大数据技术的不断进入和成熟加速了新一代企业级数据仓库的渗透过程。
在线咨询
