重庆邮电大学：《高级数据库系统技术》课程教学资源（课件讲稿）15 流数据管理

流数据管理 夏英 (xiayingacqupt. edu. cn) 重庆邮电大学计算机学院

1 流数据管理 夏英 (xiaying@cqupt.edu.cn) 重庆邮电大学计算机学院

概述 流数据具有动态、时效、连续、多源、无限等特性,数据流 处理对数据库、系统、算法、网络和其他计算机科学领域的 技术提出挑战,成为数据库界一个活跃的研究领域。 如物联网,通过安装传感设备,将所有的实体与网络连接在 起,方便识别和管理。感知数据以流的形式获取和存储。 ■流数据管理关键技术包括流存储、流操作、SQL扩展、查 询优化、操作调度、与静态数据的集成处理、模式挖掘等。 ■流数据管理系统,如斯坦福大学 stream、加州大学伯克力 分校 TelegraphCQ。 大数据流式计算架构, storn、 Yahoo s4等

2 概述
流数据具有动态、时效、连续、多源、无限等特性，数据流 处理对数据库、系统、算法、网络和其他计算机科学领域的 技术提出挑战，成为数据库界一个活跃的研究领域。
如物联网，通过安装传感设备，将所有的实体与网络连接在 一起，方便识别和管理。感知数据以流的形式获取和存储。
流数据管理关键技术包括流存储、流操作、SQL 扩展、查 询优化、操作调度、与静态数据的集成处理、模式挖掘等。
流数据管理系统，如斯坦福大学Stream、加州大学伯克力 分校TelegraphCQ。
大数据流式计算架构，Storm、Yahoo S4等

流数据应用领域 ■实时日志处理,实时统计系统,实时风控系统, 实时推荐系统 比如: 如对网络流量数据进行实时统计和攻击检测 对GPS,RFID等交通数据进行进行实时统计和诱导 ■对信用卡使用数据进行实时分析,防止信用卡欺诈 网页点击数据实时分析,广告点击及时响应(计费、 推荐、)

3 流数据应用领域
实时日志处理 ，实时统计系统 ，实时风控系统 ， 实时推荐系统 ， …
比如 ：
如对网络流量数据进行实时统计和攻击检测
对GPS， RFID等交通数据进行进行实时统计和诱导
对信用卡使用数据进行实时分析，防止信用卡欺诈
网页点击数据实时分析，广告点击及时响应 （计费 、 推荐 、 … ）

流数据管理系统简介 ■DBMs(数据库管理系统) 固定的关系结构 长时间,静态的数据 DsMs(流数据管理系统) 半结构化、非结构化数据 随时间变化(数据,概念,)

4 流数据管理系统简介
DBMS(数据库管理系统 )
固定的关系结构
长时间，静态的数据
DSMS(流数据管理系统 )
半结构化 、非结构化数据
随时间变化 （数据，概念，… ）

DBMs与DSMS的不同 稳定的关系 临时数据流,稳定的关系 一次性查询 连续查询 随机访问 顺序访问 根据数据库物理设计和查询■难以预料的数据特征和到 处理优化机制形成查询计划达模式

5 DBMS与DSMS的不同
稳定的关系
一次性查询
随机访问
根据数据库物理设计和查询 处理优化机制形成查询计划
临时数据流，稳定的关系
连续查询
顺序访问
难以预料的数据特征和到 达模式

流数据应用架构 Streamed Stored Register Result Result Query 二二二 DSMS Input streams Archive Scratch Store Stored Relations

6 DSMS Scratch Store 流数据应用架构 Input streams Register Query Streamed Result Stored Result Archive Stored Relations

实例:网络流量分析及异常检测 Packet Capture GEO Stream server Firewall Input Adapter ADL Library( Packet GEOSENSOR ADL P CCTV SENSOR TXT SQL…) Analyzing Monitor Realime monitor Knowle Audit data Historical base User-Define CQ Predefined CQ

7 实例：网络流量分析及异常检测

流量类型 TrafficRanking ○ Total Traffi ⊙ In Traffic OOut Traffic 3:9 SMTP 0 丰与 TPK查询 i入要查询的工P个粪 hongk y 匚查询 基于流数据处理的实时网络监控系统

8 基于流数据处理的实时网络监控系统

DSMS主要研究内容 数据流的存储(满足实时和近似查询要求 数据流的操作(选择、投影、连接、聚集等 数据流查询语言扩展(新的谓词或语法) 数据流查询处理技术 基于流速的查询优化(目的是获得最大的查询数据流速 操作调度 高性能数据流处理框架 模糊匹配技术 高效规则匹配技术 高效资源管理数据 数据流建模(数据模型)

9 DSMS主要研究内容
数据流的存储（满足实时和近似查询要求）
数据流的操作（选择、投影、连接、聚集等）
数据流查询语言扩展（新的谓词或语法）
数据流查询处理技术
基于流速的查询优化（目的是获得最大的查询数据流速）
操作调度
高性能数据流处理框架
模糊匹配技术
高效规则匹配技术
高效资源管理数据
数据流建模（数据模型）

DSMs研究方法 部分研究者致力于将数据流融入DBMs 部分研究者致力于普遍适用的DSMS fnSTREAM Telegraph, Aurora, Storm 部分研究者致力于特定类型数据流(如传感、GPS 、视频等)的专用DSMs fn Giga Scope: High Performance Network Monitoring with an SQL Interface

10 DSMS研究方法
部分研究者致力于将数据流融入DBMS
部分研究者致力于普遍适用的DSMS
如STREAM, Telegraph, Aurora, Storm
部分研究者致力于特定类型数据流（如传感、GPS 、视频等）的专用DSMS
如GigaScope: High Performance Network Monitoring with an SQL Interface