从数据仓库到数据湖
时间：2022-03-22 21:54:01 | 来源：行业动态
时间：2022-03-22 21:54:01 来源：行业动态
数据湖，顾名思义，就像湖能汇集各种水流一样，能汇集各种各样的数据。本质上，数据湖就是一个集中的数据存储容器，它统一对数据进行存储，按照需要进行分析和处理。
AWS首席云计算企业战略顾问张侠博士介绍，数据湖有几个特点：第一，存储的是原始的、自然的数据，可以是结构化的也可以是非结构化的。第二，可以快速地缩放，能保持海量的数据。
那么，数据湖与数据仓库的区别在哪里呢？张侠认为，数据仓库是在数据库的基础上，把数据经过一定的分类、提炼、清洗，整理好放在里面。它对数据有非常严格的要求，而数据湖没有这种限制，任何数据都可以保存在里面，一般也不会预先做数据清洗和提炼。
其次，也是最重要的一点，数据仓库是面向已经确定的需求，在建立的时候就知道要做些什么，在建立之初会对数据进行整理，这会花费不少的时间，而且数据仓库通常采用专用设备，成本也很高，一旦建好后要调整比较困难。不过，由于数据仓库是专门面向特定问题而建，因此建好后效率很高。而数据湖在建立的时候并不面向特定需求，它只是提供一个数据的集中保存，一般采用通用设备，提供的也是通用的数据查询和分析能力，数据可以随时进入数据湖。
随着非结构化数据越来越多，越来越多的场景对分析有时间要求，而传统的数据库方法不管是成本、实时性等方面都不能满足要求，这就是数据湖出现的根本原因。
张侠博士做了一个形象的比喻。他说，建数据仓库就像设计一个河道，我们知道这条河大概会来多少水，水来了以后我们有一些闸门可以处理。然而，到互联网时代，各种各样的数据汹涌而至，我们很难掌握数据到底是什么样的性质、会有多大量，也不可能花几个月、半年的时间把这些数据都整理清楚，规划好。在这种情况下，我们就找一大片湿地、洼地建起数据湖，没有河道，把所有数据就像湖水一样、洪水一样先蓄在这个湖里面，然后通过一些工具来查询它。
在线咨询
