数据流查询处理(数据库)
时间：2022-11-20 14:30:01 | 来源：信息时代
时间：2022-11-20 14:30:01 来源：信息时代
数据流查询处理 : 针对数据流数据的特点,研究和探讨处理数据流查询所用的新技术和新方法。与传统的数据库系统中的查询处理不同,目前在数据流系统中都是用基于有界内存的近似查询处理方法来处理数据流。同时因为内存空间的有限性,因此,无法对整个数据流进行操作,而只能对一部分数据进行处理。所以数据流系统中的查询处理只能得到近似的结果。目前的近似查询处理技术有很多的研究成果,像直方图、抽样方法、小波技术、滑动窗口等都广泛地应用于数据流系统中。
1.连续查询语义
对数据流进行的查询为连续查询,指的是数据流系统在一段时间内是连续执行的,随着新的数据的到达将不断地产生新的查询结果。
假设A(Q,t)表示连续查询Q在时刻t的查询结果,τ表示当前时间,o表示开始时间,为了简便起见,假设时间是一系列整数。如果一个连续查询是单调的,那么它对新到来的数据项进行查询,并对结果进行二次评价,将满足条件的元组追加到结果中去。由此,一个单调的连续查询Q在时刻τ的查询结果为:
相应地,非单调查询则需要对每一个二次评价之后的结果进行重新计算,由此产生如下语义:
2. 近似查询处理技术
近似查询处理技术有: 直方图、抽样方法、小波分析和滑动窗口。
直方图技术是一种常用的概要结构表示方法,它是指将一个大数据集划分为很多个连续的桶(bucket),也就是小数据集,每个桶都由一个数字来代表其特征。直方图表示法直观、简洁,能够很好地表示大数据集的轮廓,可用于多重目的,如查询大小估计,近似查询结果以及数据挖掘等,其在一些商业数据库中经常采用。直方图又可以划分成多种,例如,等宽直方图、压缩直方图、V-优化直方图等。
抽样方法也是生成大纲数据结构的常用手段。它从数据集中抽取小部分数据代表整个数据集,并根据该样本集合获得查询结果。但抽样可能会产生一些误差,比如: 求最大值、求最小值等。如何有效地对数据进行抽样,以及如何减少误差则成了进一步研究的问题。
小波分析方法是一种通用的数字信号处理技术。类似于傅立叶变换,小波分析根据输入的模拟量,变换成一系列的小波参数,并且少数几个小波参数就拥有大部分能量。根据这个特性,可以选择少数小波参数,近似还原原始信号。小波分析方法也被应用到数据库领域,例如,对高维数据进行降维处理、生成直方图等。
用近似的一部分数据,特别是当前的一部分数据,来代替全部数据用于计算,这种技术称为滑动窗口技术。
在数据流中引入滑动窗口来产生近似的查询结果的方法是有其自身的道理。首先,滑动窗口被详细定义过,且易理解,近似语义清楚,因此系统的用户可以确信他们能够理解在产生近似结果时丢弃掉的那部分数据。其次,由于滑动窗口具有确定性,所以不必担心不适宜的任意地选取将产生非近似的计算结果。最重要的一点是,滑动窗口强调的是最近的数据,在现实世界的大多数应用中,最近的数据要比旧的数据重要得多。从另外一个角度理解,滑动窗口的目的是阻止陈旧的数据影响系统的分析和统计,并且它是利用有限的内存空间的一种近似工具。Datar等人研究了如何对滑动窗口进行简单的统计,包括纲要的提取技术。Babock、Datar和Motwani将抽样技术用于滑动窗口模型。目前在将概要技术用于滑动窗口方面的工作还很少,此方面的研究时机已经成熟。在数据流的连续查询系统中,滑动窗口可以看作是数据流有限部分的一个历史性快照。基于这种定义可以将滑动窗口划分成两种类型:基于时间的滑动窗口和基于流元组的滑动窗口。
在线咨询
