时间：2022-11-20 08:30:01 | 来源：信息时代
时间：2022-11-20 08:30:01 来源：信息时代
数据流 : 一个实时的、连续的、潜在无界的、不确定的、随时间变化的(隐含的通过到达时间或者明确的时间戳)数据项的序列,又称流数据或流式数据。其到达的速度可能突然发生变化、数据流的更新通常以插入为主。令t表示任一时间戳,at表示在该时间戳到达的数据,数据流可以表示成{…,at-1,at,at+1,…}。
数据流的主要特点是: ①数据流中的数据元素是联机实时、快速到达的; ②系统无法控制将被处理的数据元素的到达次序; ③数据流的大小是潜在无界的,不能存储数据流中的所有数据元素; ④数据流中的数据元素一旦被处理,要么丢弃,要么存档。除非显示地存储在内存里,否则很难检索,因为内存相对于数据流的尺寸要小得多。
多年来,数据库技术发展迅速且得到了广泛应用。一方面,数据建模形式多样,从层次数据库、网状数据库、关系数据库、面向对象数据库,直到对象关系数据库等; 另一方面,数据规模也越来越大。传统数据库技术的一个共同点是: 数据存储在介质中,可以多次利用; 用户提交数据操纵语言来获取查询结果。尽管传统数据库获得了巨大的成功,但是在20世纪末,一种新的应用模型却对它提出了有力的挑战。由于这些数据流流量大且到达速度快,传统数据库技术难以实现实时处理。这种名为数据流的应用模型广泛出现在众多领域,例如,金融应用、网络监视、通信数据管理、Web应用、传感器网络数据处理等。
数据流的出现对数据库管理技术提出了巨大的挑战。首先,数据流中的数据以在线的方式到达,数据量大,并且连续到达的数据的速度和特征是不可预见的。系统必须在资源有限的情况下实时处理数据流中的数据。其次,传统数据库系统中的查询为作用在有限数据集上的一次查询,而作用在连续、无界的数据流上的查询为连续查询,即数据流查询可能被连续运行很长一段时间。第三,当前数据库管理系统的体系结构采用基于拉(pull-based)的数据访问模型,而在面向流的应用中同时可以采用基于推(push-based)的模型。为了解决上述问题,国内外的许多大学和机构已进行了大量的研究工作。
在线咨询
