Oracle数据库中的海量数据处理

DRACL∈ Oracle数据库的海量数据处理 Ford Feng冯明磊 Sales Consultant.Tech

Oracle数据库的海量数据处理 Ford Feng 冯明磊 Sales Consultant, Tech

Agenda ·数据仓库系统的特点 ·Oracle数据仓库简介 ·使用Oracle数据仓库管理海量数据 ·Oracle Database Machine,硬件级数据仓库支持 DRACL∈

Agenda • 数据仓库系统的特点 • Oracle 数据仓库简介 • 使用Oracle 数据仓库管理海量数据 • Oracle Database Machine，硬件级数据仓库支持

Agenda ·数据仓库系统的特点 ·Oracle数据仓库简介 ·使用Oracle数据仓库管理海量数据 ·Oracle Database Machine,硬件级数据仓库支持 DRACL∈

Agenda • 数据仓库系统的特点 • Oracle 数据仓库简介 • 使用Oracle 数据仓库管理海量数据 • Oracle Database Machine，硬件级数据仓库支持

什么是数据仓库？ “数据仓库(Data Warehouse)通常是一个面向主题的、集成 的、随时间变化的、但信息本身相对稳定的数据集合，它用于 对管理决策过程的支持” ·面向主题(Subject--Oriented) ·集成的(Integrated) ①，⊙O0@w一 ▣0g0 随时间变化(Time-Variant) Go0gle二 不变动性(Nonvolatile) DRACL∈

什么是数据仓库 ? • “数据仓库（Data Warehouse）通常是一个面向主题的 、集成 的、随时间变化的、但信息本身相对稳定的数据集合，它用于 对管理决策过程的支持 ” • 面向主题(Subject-Oriented) • 集成的(Integrated) • 随时间变化(Time-Variant) • 不变动性(Nonvolatile) * ... approximately 768,000 hits on google.com

数据仓库系统的特点 ·处理历史数据 ·大部分都是庞大的数据量 ·数据仓库操作通常需要众多的资源 ·同时访问很多的表 ·执行昂贵的计算 ·复杂的SQL语句 ·查询会长时间运行（可能会几个小时） ·数据仓库的应用通常是被周期和流程化调用 ·抽取，转换，和加载(ETL) ·通常包含多个数据源，其中包括平面文件 ·支持不同的预先定义的工作负载比如. ·计划ETL ·计划报表 ·最终用户在工作时间执行即席查询 ·不同模式的系统高峰负载出现在不同的时间 ·系统的硬件配置应考虑到不同模式的高峰负载 DRACL∈

• 处理历史数据 • 大部分都是庞大的数据量 • 数据仓库操作通常需要众多的资源 • 同时访问很多的表 • 执行昂贵的计算 • 复杂的 SQL语句 • 查询会长时间运行 (可能会几个小时) • 数据仓库的应用通常是被周期和流程化调用 • 抽取, 转换, 和加载 (ETL) • 通常包含多个数据源, 其中包括平面文件 • 支持不同的预先定义的工作负载 比如. • 计划ETL • 计划报表 • 最终用户在工作时间执行即席查询 • 不同模式的系统高峰负载出现在不同的时间 • 系统的硬件配置应考虑到不同模式的高峰负载 数据仓库系统的特点

Agenda ·数据仓库系统的特点 ·Oracle数据仓库简介 ·使用Oracle数据仓库管理海量数据 ·Oracle Database Machine,硬件级数据仓库支持 DRACL∈

Agenda • 数据仓库系统的特点 • Oracle 数据仓库简介 • 使用Oracle 数据仓库管理海量数据 • Oracle Database Machine，硬件级数据仓库支持

Oracle数据仓库的发展.. ·数据仓库的开发从Oracle7.0就开始了 ·主要侧重于性能和扩展性 ·在Oracle8i中增加了可管理性和对Bl的支持 ·满足数据仓库的需求 ·高效的ETL功能 ·管理大数据量 管理各种用户请求 。 查询的快速响应 ·支持大量用户并发 ·易于使用，易于管理 无需特殊培训，统一管理界面 DRACL∈

Oracle 数据仓库的发展… • 数据仓库的开发从Oracle 7.0就开始了 • 主要侧重于性能和扩展性 • 在Oracle8i 中增加了可管理性和对BI 的支持 • 满足数据仓库的需求 • 高效的ETL功能 • 管理大数据量 • 管理各种用户请求 • 查询的快速响应 • 支持大量用户并发 • 易于使用，易于管理 • 无需特殊培训，统一管理界面

Oracle数据仓库的发展 Oracle 7.3 不断创新 Oracle 8n Oracle8i Partitione s Partition Hash and Oracle9i Parallel Ir Parallel Ir Resource Progress Parallel B Adaptive Parallel A Serverbe List and Ran Parallel C Materiallz Table Comp Oracle10g Server Ma Transpor Point-in-T Direct Lo Bitmap Join Functfoni Self-Tuning SQL Access Advisor Partition New Analyti Security Grouping Se .Automatic Storage Manager 0 External Tab Self-tuning Memory MERGE 0 Change Data Capture Multi-TableI SQL Models Proactive Q 。SQL Frequent Itemsets System Man .SQL Partition Outer Joins Statistical functions 0 Faster sort/aggregation 0 Multi-dimensional part.pruning and much more

Oracle 7.3 Oracle 7.3 z Partitioned Tables and Indexes z Partition Pruning z Parallel Index Scans z Parallel Insert, Update, Delete z Parallel Bitmap Star Query z Parallel ANALYZE z Parallel Constraint Enabling z Server Managed Backup/Recovery z Point-in-Time Recovery z Partitioned Tables and Indexes z Partition Pruning z Parallel Index Scans z Parallel Insert, Update, Delete z Parallel Bitmap Star Query z Parallel ANALYZE z Parallel Constraint Enabling z Server Managed Backup/Recovery z Point-in-Time Recovery Oracle 8.0 Oracle 8.0 z Hash and Composite Partitioning z Resource Manager z Progress Monitor z Adaptive Parallel Query z Server-based Analytic Functions z Materialized Views z Transportable Tablespaces z Direct Loader API z Functional Indexes z Partition-wise Joins z Security Enhancements z Hash and Composite Partitioning z Resource Manager z Progress Monitor z Adaptive Parallel Query z Server-based Analytic Functions z Materialized Views z Transportable Tablespaces z Direct Loader API z Functional Indexes z Partition-wise Joins z Security Enhancements Oracle9 Oracle9 i z List and Range-List Partitioning z Table Compression z Bitmap Join Index z Self-Tuning Runtime Memory z New Analytic Functions z Grouping Sets z External Tables z MERGE z Multi-Table Insert z Proactive Query Governing z System Managed Undo z List and Range-List Partitioning z Table Compression z Bitmap Join Index z Self-Tuning Runtime Memory z New Analytic Functions z Grouping Sets z External Tables z MERGE z Multi-Table Insert z Proactive Query Governing z System Managed Undo Oracle8 Oracle8ii Oracle10 Oracle10g z SQL Access Advisor z Automatic Storage Manager z Self-tuning Memory z Change Data Capture z SQL Models z SQL Frequent Itemsets z SQL Partition Outer Joins z Statistical functions z Faster sort/aggregation z Multi-dimensional part. pruning z and much more ... z SQL Access Advisor z Automatic Storage Manager z Self-tuning Memory z Change Data Capture z SQL Models z SQL Frequent Itemsets z SQL Partition Outer Joins z Statistical functions z Faster sort/aggregation z Multi-dimensional part. pruning z and much more ... Oracle 数据仓库的发展 不断创新

Oracle数据仓库的发展 Oracle11g新特性 Oracle Warehouse Builder ·基本数据库特性 ·企业级ELT选项 ·数据质量选项 ·连接器选项 ·基于OLAP的物化视图及查询重写 ·增强的分区功能，数据压缩技术和并行技术 ·集成的分析处理技术，数据挖掘技术和信息统计技术 DRACL∈

Oracle 数据仓库的发展 Oracle 11g新特性 • Oracle Warehouse Builder • 基本数据库特性 • 企业级ELT选项 • 数据质量选项 • 连接器选项 • 基于OLAP的物化视图及查询重写 • 增强的分区功能，数据压缩技术和并行技术 • 集成的分析处理技术，数据挖掘技术和信息统计技术 • ……

数据仓库市场的领导者 SAS Other Teradata 5.6% 5.2% IBM 5.9% 31.0% Microsoft 16.5% Oracle 35.8% Source:IDC,Worldwide Data Warehousing Tools 2004-2008 Forecast The market share of Oracle grows up to nearly 40%in 2007. -Gartner,2008 ORACL∈

数据仓库市场的领导者 Teradata 5.9% SAS 5.6% Other 5.2% IBM 31.0% Microsoft 16.5% Oracle 35.8% Source: IDC, Worldwide Data Warehousing Tools 2004-2008 Forecast The market share of Oracle grows up to nearly 40% in 2007. —Gartner, 2008