时间：2022-11-12 14:30:01 | 来源：信息时代
时间：2022-11-12 14:30:01 来源：信息时代
实时数据流管理 : 事务和数据流都具有定时特征或显式定时限制的数据流管理系统。随着大量的有线和无线传感器的出现,许多实时应用需要操纵连续和无界的数据流。同时这些系统大多要求具有固有的时间约束,即定时限制。对于动态数据流上的查询提供截止时间的保证是一个具有挑战性的问题。
基于多种数据流应用的经验,M.Stonebraker、U.Cetintemel和S.Zdonik提出了刻画实时数据流管理的8条规则。这些规则说明了任何具有大容量低延迟的数据流处理应用系统必须具有的特性。这8条规则如下:
规则1: 保持数据是移动的。
实时数据流管理的第一个需求是在数据流中处理消息,不需要存储数据流来完成任何操作或操作序列。理想的系统应该使用一种主动处理模型。
规则2: 对数据流用SQL语言进行查询。
30年来SQL语言一直是数据库语言的标准语言。SQL的成功在于其可以表达复杂的数据转换,且语言易学易用,大部分商用数据库都提供了SQL语言接口。扩充SQL语言完成连续数据流的处理是一种切实可行的方案。
规则3: 处理不完善数据流(延迟、缺失和无序的数据)。
在传统的数据库中,在查询数据前,数据总是存在的。但在实时系统中,因为从不存储数据,而现实数据流中存在延迟、缺失和无序的数据,因此必须具有处理不完善数据流的机制。
规则4: 生成可预测和可重复的结果。
从容错和恢复的角度来说,产生可预测结果的能力是非常重要的,不管执行的时间,重放和重处理同样的输入流应产生同样的结果。
规则5: 集成存储的和流动的数据。
数据流处理引擎应具有有效地存储、访问和修改状态信息的能力,并能集成当前流动的数据。对无缝集成来说,当处理其他类型的数据时,系统应使用统一语言。
规则6: 保证数据安全性和可用性。
为了保护关键信息的完整性,避免实时处理时的破坏,数据流处理系统必须使用高可用性的解决方案。大多数数据流处理应用都涉及到高可用性问题。例如,希望银行的信息系统永远不出故障,始终可以使用,出了故障应能及时恢复。
规则7: 自动划分和伸缩应用。
为了增加可伸缩性,数据流管理系统应具有在多处理器和多机系统上的分布处理能力。理想地,分布应该是自动的和透明的。由于低的性能价格比,分布式操作变得愈加重要。为了利用现代多处理器(或多核)计算机体系结构,数据流处理系统应该支持多线程操作。
规则8: 瞬时处理和响应。
为了对大量应用进行实时响应,数据流处理系统必须具有高度优化的,极小开销的执行引擎。对有用的工作,选择最优的执行路径来最小化开销比率,可取得高性能。
在线咨询
