厦门大学：《大数据技术原理与应用》课程教学资源（PPT课件讲稿）第一章 大数据概述

提纲 1.1大数据时代 12大数据概念 13大数据的影响 .4大数据的应用 15大数据关键技术 1.6大数据计算模式 7大数据产业 1.8大数据与云计算、物联网的关系 本PPT是如下教材的配套讲义 21世纪高等教育计算机规划教材 《大数据技术原理与应用 ——概念、存储、处理、分析与应用》 (2015年8月第1版) 厦门大学林子雨编著,人民邮电出版社 SBN:978-7-115-39287-9 欢迎访问《大数据技术原理与应用》教材官方网站: http:/dblab.xmu.edu.cn/post/bigdata 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn

《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 提纲 1.1 大数据时代 1.2 大数据概念 1.3 大数据的影响 1.4 大数据的应用 1.5 大数据关键技术 1.6 大数据计算模式 1.7 大数据产业 1.8 大数据与云计算、物联网的关系 欢迎访问《大数据技术原理与应用》教材官方网站： http://dblab.xmu.edu.cn/post/bigdata 本PPT是如下教材的配套讲义： 21世纪高等教育计算机规划教材 《大数据技术原理与应用 ——概念、存储、处理、分析与应用》 （2015年8月第1版） 厦门大学 林子雨 编著，人民邮电出版社 ISBN:978-7-115-39287-9

1.1大数据时代 第三次 浪潮 美阿尔文·托夫勒著 INFORMATION DATA21b广 A REVOLUTION副 全球发行上干 COMPLEX DATABASES STORAGE T 大数据时代 生活、工作与思维的大变革 已:三 Z 《大数据技术原理与应用 厦门大学计算机科学系 林子雨 @xmu.edu.cn

《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 1.1大数据时代

1.1.1第三次信息化浪潮 根据|BM前首席执行官郭士纳的观点,T领域每隔十五年就会迎来一 次重大变革 表1-1三次信息化浪潮 信息化浪潮发生时间 标志 解决问题 代表企业 ntel、AMD、|BM、 第一次浪潮1980年前后个人计算机信息处理苹果、微软、联想、 戴尔、惠普等 第二次浪潮1995年前后互联网 信息传输雅虎、谷歌阿里巴 腾讯 物联网、云 将涌现出一批新的市 第三次浪潮2010年前后计算和大数信息爆炸场标杆企业 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn

《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 1.1.1第三次信息化浪潮 • 根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一 次重大变革 信息化浪潮 发生时间 标志 解决问题 代表企业 第一次浪潮 1980年前后 个人计算机 信息处理 Intel、AMD、IBM、 苹果、微软、联想、 戴尔、惠普等 第二次浪潮 1995年前后 互联网 信息传输 雅虎、谷歌、阿里巴 巴、百度、腾讯等 第三次浪潮 2010年前后 物联网、云 计算和大数 据 信息爆炸 将涌现出一批新的市 场标杆企业 表1-1 三次信息化浪潮

1.12信息科技为大数据时代提供技术支撑 1.存储设备容量不断增加 ·1990-2013价格数据点 103 1990-2010价格拟合线 10 ---2013-2020价格预测范围 10 10 1990 2000 2005 2010 2015 2020 年份 图1-1存储价格随时间变化情况 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn

《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 1.1.2信息科技为大数据时代提供技术支撑 图1-1 存储价格随时间变化情况 1. 存储设备容量不断增加

1.2信息科技为大数据时代提供技术支撑 abn 来自斯威本科技大学( Swinburne University of Technology)的研究团队, 在2013年6月29日刊出的《自然通讯( Nature communications)》杂志的 文章中,描述了一种全新的数据存储方式,可将1PB(1024TB)的数据存 储到一张仅DVD大小的聚合物碟片上。 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn

《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 1.2信息科技为大数据时代提供技术支撑 来自斯威本科技大学（Swinburne University of Technology）的研究团队， 在2013年6月29日刊出的《自然通讯（Nature Communications）》杂志的 文章中，描述了一种全新的数据存储方式，可将1PB（1024TB）的数据存 储到一张仅DVD大小的聚合物碟片上

1.12信息科技为大数据时代提供技术支撑 2.CPU处理能力大幅提升 2.600,000,000 1,000000,000 100.000.000 家10.00000 回 100000 1971 1980 1990 2011 CPU推出日期 图1-3CPU晶体管数目随时间变化情况 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn

《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 1.1.2信息科技为大数据时代提供技术支撑 图1-3 CPU晶体管数目随时间变化情况 2. CPU处理能力大幅提升

1.12信息科技为大数据时代提供技术支撑 3.网络带宽不断增加 (百万) 10000 0每秒周转次数(百万赫兹) 前端总频率(百万赫越) 转移数据量(百万兆) 18 1990 2005 图1-4网络带宽随时间变化情况 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn

《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 1.1.2信息科技为大数据时代提供技术支撑 图1-4 网络带宽随时间变化情况 3. 网络带宽不断增加

1.13数据产生方式的变革促成大数据时代的来临 运营式系统阶段 用户原创内容阶段 感知式系统阶段 数据库的出现使得 数据爆发产生于 ·感知式系统的广泛 数据管理的复杂度 Wveb20时代,而 使用 大大降低,数据往 Web20的最重要 ·人类社会数据量第 往伴随着一定的运 标志就是用户原创 三次大的飞跃最终 营活动而产生并记 内容 导致了大数据的产 ·智能手机等移动设 生 录在数据库中,数 据的产生方式是被 备加速内容产生 动的 数据产生方式是主 动的 图1-5数据产生方式的变革 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn

《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 1.1.3数据产生方式的变革促成大数据时代的来临 图1-5 数据产生方式的变革

1.14大数据的发展历程 表12大数据发展的三个阶段 阶段 时间 内容 上世纪90年随着数据挖掘理论和数据库技术的逐步成熟 第一阶段:明代至本世纪,一批商业智能工具和知识管理技术开始被 芽期 初 应用,如数据仓库、专家系统、知识管理系 统等 Web20应用迅猛发展,非结构化数据大量产 生,传统处理方法难以应对,带动了大数据 第二阶段:成本世纪前十技术的快速突破,大数据解决方案逐渐走向 熟期 年 成熟,形成了并行计算与分布式系统两大核 心技术,谷歌的GFS和 MapReduce等大数据技 术受到追捧, Hadoop平台开始大行其道 规模应用期2010年以后大数据应用渗透各行各业,数据驱动决策, 第三阶段:大 信息社会智能化程度大幅提高 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn

《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 1.1.4 大数据的发展历程 阶段 时间 内容 第一阶段：萌 芽期 上世纪90年 代至本世纪 初 随着数据挖掘理论和数据库技术的逐步成熟 ，一批商业智能工具和知识管理技术开始被 应用，如数据仓库、专家系统、知识管理系 统等。 第二阶段：成 熟期 本世纪前十 年 Web2.0应用迅猛发展，非结构化数据大量产 生，传统处理方法难以应对，带动了大数据 技术的快速突破，大数据解决方案逐渐走向 成熟，形成了并行计算与分布式系统两大核 心技术，谷歌的GFS和MapReduce等大数据技 术受到追捧，Hadoop平台开始大行其道 第三阶段：大 规模应用期 2010年以后 大数据应用渗透各行各业，数据驱动决策， 信息社会智能化程度大幅提高 表1-2 大数据发展的三个阶段

1.2大数据概念 OCAL BLOG 101100101001 001001101010 SMART 101011100101 METER旧BLE 010100100101 VOLUME VELOCITY VARIETY VALUE 大量化 快速化 多样化 大数据不仅仅是数据的“大量化”,而是包含“快速 化”、“多样化”和“价值化”等多重属性。 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn

《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 1.2大数据概念