厦门大学：《大数据处理技术 Spark》课程讲义（PPT教学课件）第1章 大数据技术概述

厦门大学研究生课程 《大数据处理技术 Spark》 http://dblab.xmu.educn/post/7659/ 湿馨提示:编得幻灯片母版,可以修改每页PPT的厦大校徽和底部文字 第1章大数据技术概述 口高回 (PPT版本号:2017年春季学期) 林子雨 厦门大学计算机科学系 扫一扫访问班级主页 E-mail:ziyulin@xmu.edu.cnA 主页http://www.cs.xmu.edu.cn/linziyu 厦门大学计算机科学系 2017年版

《大数据处理技术 厦门大学计算机科学系 》 厦门大学计算机科学系 林子雨 2017ziyulin@xmu.edu.cn 年版 林子雨 厦门大学计算机科学系 E-mail: ziyulin@xmu.edu.cn 主页：http://www.cs.xmu.edu.cn/linziyu 第1章 大数据技术概述 （PPT版本号：2017年春季学期） 厦门大学研究生课程 《大数据处理技术Spark》 温馨提示：编辑幻灯片母版，可以修改每页PPT的厦大校徽和底部文字 扫一扫访问班级主页 http://dblab.xmu.edu.cn/post/7659/

提纲 1.1大数据时代 12大数据概念 13大数据的影响 14大数据关键技术 1.5大数据计算模式 1.6代表性大数据技术 《大数据处理技术》 厦门大学计算机科学系 ziyulin@xmu.edu.cn

《大数据处理技术》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 提纲 1.1 大数据时代 1.2 大数据概念 1.3 大数据的影响 1.4 大数据关键技术 1.5 大数据计算模式 1.6 代表性大数据技术

1.1大数据时代 第三次 浪潮 美阿尔文·托夫勒著 INFORMATION DATA21b广 A REVOLUTION副 全球发行上干 COMPLEX DATABASES STORAGE T 大数据时代 生活、工作与思维的大变革 已:三 Z 大数据处理技术 厦门大学计算机科学系 ziyulin@xmu.edu.cn

《大数据处理技术》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 1.1大数据时代

1.1.1第三次信息化浪潮 根据|BM前首席执行官郭士纳的观点,T领域每隔十五年就会迎来一 次重大变革 表1三次信息化浪潮 信息化浪潮发生时间 标志 解决问题 代表企业 ntel、AMD、|BM、 第一次浪潮1980年前后个人计算机信息处理苹果、微软、联想、 戴尔、惠普等 第二次浪潮1995年前后互联网 信息传输雅虎、谷歌阿里巴 腾讯 物联网、云 将涌现出一批新的市 第三次浪潮2010年前后计算和大数信息爆炸场标杆企业 《大数据处理技术》 厦门大学计算机科学系 ziyulin@xmu.edu.cn

《大数据处理技术》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 1.1.1第三次信息化浪潮 • 根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一 次重大变革 信息化浪潮 发生时间 标志 解决问题 代表企业 第一次浪潮 1980年前后 个人计算机 信息处理 Intel、AMD、IBM、 苹果、微软、联想、 戴尔、惠普等 第二次浪潮 1995年前后 互联网 信息传输 雅虎、谷歌、阿里巴 巴、百度、腾讯等 第三次浪潮 2010年前后 物联网、云 计算和大数 据 信息爆炸 将涌现出一批新的市 场标杆企业 表1 三次信息化浪潮

1.12信息科技为大数据时代提供技术支撑 1.存储设备容量不断增加 ·1990-2013价格数据点 103 1990-2010价格拟合线 10 ---2013-2020价格预测范围 10 ●●=二二 10 1990 2000 2005 2010 2015 2020 年份 图1-1存储价格随时间变化情况 《大数据处理技术》 厦门大学计算机科学系 ziyulin@xmu.edu.cn

《大数据处理技术》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 1.1.2信息科技为大数据时代提供技术支撑 图1-1 存储价格随时间变化情况 1. 存储设备容量不断增加

1.12信息科技为大数据时代提供技术支撑 abn 来自斯威本科技大学( Swinburne University of Technology)的研究团队, 在2013年6月29日刊出的《自然通讯( Nature communications)》杂志的 文章中,描述了一种全新的数据存储方式,可将1PB(1024TB)的数据存 储到一张仅DVD大小的聚合物碟片上。 大数据处理技术》 厦门大学计算机科学系 ziyulin@xmu.edu.cn

《大数据处理技术》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 1.1.2信息科技为大数据时代提供技术支撑 来自斯威本科技大学（Swinburne University of Technology）的研究团队， 在2013年6月29日刊出的《自然通讯（Nature Communications）》杂志的 文章中，描述了一种全新的数据存储方式，可将1PB（1024TB）的数据存 储到一张仅DVD大小的聚合物碟片上

1.12信息科技为大数据时代提供技术支撑 2.CPU处理能力大幅提升 2.600,000,000 1,000000,000 100.000.000 家10.00000 回 100000 1971 1980 1990 2011 CPU推出日期 图CPU晶体管数目随时间变化情况 《大数据处理技术》 厦门大学计算机科学系 ziyulin@xmu.edu.cn

《大数据处理技术》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 1.1.2信息科技为大数据时代提供技术支撑 图 CPU晶体管数目随时间变化情况 2. CPU处理能力大幅提升

1.12信息科技为大数据时代提供技术支撑 3.网络带宽不断增加 (百万) 10000 0每秒周转次数(百万赫兹) 前端总频率(百万赫越) 转移数据量(百万兆) 18 1990 2005 图网络带宽随时间变化情况 《大数据处理技术》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn

《大数据处理技术》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 1.1.2信息科技为大数据时代提供技术支撑 图 网络带宽随时间变化情况 3. 网络带宽不断增加

1.13数据产生方式的变革促成大数据时代的来临 运营式系统阶段 用户原创内容阶段 感知式系统阶段 数据库的出现使得 数据爆发产生于 ·感知式系统的广泛 数据管理的复杂度 Wveb20时代,而 使用 大大降低,数据往 Web20的最重要 ·人类社会数据量第 往伴随着一定的运 标志就是用户原创 三次大的飞跃最终 营活动而产生并记 内容 导致了大数据的产 ·智能手机等移动设 生 录在数据库中,数 据的产生方式是被 备加速内容产生 动的 数据产生方式是主 动的 图数据产生方式的变革 《大数据处理技术》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn

《大数据处理技术》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 1.1.3数据产生方式的变革促成大数据时代的来临 图 数据产生方式的变革

1.2大数据概念 OCAL BLOG 101100101001 001001101010 SMART 101011100101 METER旧BLE 010100100101 VOLUME VELOCITY VARIETY VALUE 大量化 快速化 多样化 大数据不仅仅是数据的“大量化”,而是包含“快速 化”、“多样化”和“价值化”等多重属性。 《大数据处理技术》 厦门大学计算机科学系 ziyulin@xmu.edu.cn

《大数据处理技术》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 1.2大数据概念