电子科技大学:《软件架构模型与设计》教学课件讲稿(Software Architecture Model and Design)第9讲 大数据 Big Data Computing Technology(Hadoop生态系统)

Lecture10 Hadoop生态系统 10.1 Hadoop总体架构 10.2HDFS文件系统 10.3分布式存储架构 10.4 Hadoop资源管理与作业调度 Big Data Computing Technology,2017 Fall
Lecture 10 Hadoop生态系统 Big Data Computing Technology, 2017 Fall 1 10.1 Hadoop总体架构 10.2 HDFS文件系统 10.3 分布式存储架构 10.4 Hadoop资源管理与作业调度

10.1 Hadoop总体架构 ·系统架构: ·部署在低成本的Intel/Linux硬件平台上 ·由多台装有Intel x86处理器的服务器或PC机组成 ·通过高速局域网构成一个计算集群 ·各个节点上运行Linux操作系统 ·三大主要模式: ·单机模式(standalone mode) ·虚拟分布模式(pseudo-distributed mode) ·完全分布模式(completely distributed Mode) Big Data Computing Technology,2017 Fall
10.1 Hadoop总体架构 Big Data Computing Technology, 2017 Fall 2 • 系统架构: • 部署在低成本的Intel/Linux硬件平台上 • 由多台装有Intel x86处理器的服务器或PC机组成 • 通过高速局域网构成一个计算集群 • 各个节点上运行Linux操作系统 • 三大主要模式: • 单机模式(standalone mode) • 虚拟分布模式(pseudo-distributed mode) • 完全分布模式(completely distributed Mode)

10.1 Hadoop总体架构 集群配置: ·硬件配置: ·NameNode(执行作业调度、资源调配、系统监控等任务) ·DataNode(承担具体的数据计算任务) ·软件配置: ·Linux O/S ·JDK1.6以上版本 ·SSH(Security Shell)安全协议 ·网络配置: ·NameNode?到机架(Rack)的网络连接 ·机架内部的DataNode之间的网络连接 Big Data Computing Technology,2017 Fall
10.1 Hadoop总体架构 Big Data Computing Technology, 2017 Fall 3 集群配置: • 硬件配置: • NameNode(执行作业调度、资源调配、系统监控等任务) • DataNode(承担具体的数据计算任务) • 软件配置: • Linux O/S • JDK 1.6以上版本 • SSH(Security Shell)安全协议 • 网络配置: • NameNode到机架(Rack)的网络连接 • 机架内部的DataNode之间的网络连接

10.1 Hadoop总体架构 集群软件配置: ·主节点运行的程序或进程: ·主节点程序Namenode ·Jobtracker守护进程 ·管理集群所用的Hadoop工具程序和集群监控浏览器 ·从节点运行的程序: ·从节点程序Datanode ·任务管理进程Tasktracker ·区别: ·主节点程序提供Hadoop集群管理、协调和资源调度功能 ·从节点程序主要实现Hadoop文件系统(HDFS)存储功 能和书点数琚还理坊能。 Big Data Computing Technology,2017 Fall
10.1 Hadoop总体架构 Big Data Computing Technology, 2017 Fall 4 集群软件配置: • 主节点运行的程序或进程: • 主节点程序Namenode • Jobtracker 守护进程 • 管理集群所用的Hadoop 工具程序和集群监控浏览器 • 从节点运行的程序: • 从节点程序Datanode • 任务管理进程Tasktracker • 区别: • 主节点程序提供 Hadoop 集群管理、协调和资源调度功能 • 从节点程序主要实现 Hadoop 文件系统(HDFS)存储功 能和节点数据处理功能

10.1 Hadoop总体架构 Hadoop软件架构: ·组成: ·基于HDS/HBasel的数据存储系统 ·基于YARN/Zookeeper的管理调度系统 ·支持不同计算模式的处理引擎 Big Data Computing Technology,2017 Fall
10.1 Hadoop总体架构 Big Data Computing Technology, 2017 Fall 5 Hadoop软件架构: • 组成: • 基于HDFS/HBase的数据存储系统 • 基于YARN/Zookeeper的管理调度系统 • 支持不同计算模式的处理引擎

10.1 Hadoop总体架构 数据存储系统 ·组成: ·分布式文件系统HDFS(Hadoop Distributed File System) ·分布式非关系型数据库Hbase ·数据仓库及数据分析工具Hive和Pig ·用于数据采集、转移和汇总的工具Sqoop和Flume。 ·HDFS文件系统构成了Hadoop数据存储体系的基 础 Big Data Computing Technology,2017 Fall
10.1 Hadoop总体架构 Big Data Computing Technology, 2017 Fall 6 数据存储系统 • 组成: • 分布式文件系统HDFS(Hadoop Distributed File System) • 分布式非关系型数据库Hbase • 数据仓库及数据分析工具Hive和Pig • 用于数据采集、转移和汇总的工具Sqoop和Flume。 • HDFS文件系统构成了Hadoop数据存储体系的基 础

10.1 Hadoop总体架构 管理调度系统: ·Zookeeper:提供分布式协调服务管理 ·Oozie:负责作业调度 ·Ambari:提供集群配置、管理和监控功能 ·Chukwa:大型集群监控系统 ·YARN:集群资源调度管理系统 Big Data Computing Technology,2017 Fall
10.1 Hadoop总体架构 Big Data Computing Technology, 2017 Fall 7 管理调度系统: • Zookeeper:提供分布式协调服务管理 • Oozie:负责作业调度 • Ambari:提供集群配置、管理和监控功能 • Chukwa:大型集群监控系统 • YARN:集群资源调度管理系统

10.2HDFS文件系统 分布式文件系统: ·结构: ·物理存储资源和对象分散存储在通过网络相连的远程节点上 主控服务器(也称元数据服务器):负责管理命名空间和文件 目录, ·远程数据服务器(也称存储服务器)节点:存储实际文件数据 ·特点 ·透明性 ·高可用性 ·支持并发访问 ·可扩展性 ·安全性 Big Data Computing Technology,2017 Fall
10.2 HDFS文件系统 Big Data Computing Technology, 2017 Fall 8 分布式文件系统: • 结构: • 物理存储资源和对象分散存储在通过网络相连的远程节点上 • 主控服务器(也称元数据服务器):负责管理命名空间和文件 目录, • 远程数据服务器(也称存储服务器)节点:存储实际文件数据 • 特点 • 透明性 • 高可用性 • 支持并发访问 • 可扩展性 • 安全性

10.2HDFS文件系统 分布式文件系统: 檄理行储资源和对象分散存储在通过网络州连的远程节 接释备翼,(也称元数据服务器):负责管理命名空间 ·远程数据服务器(也称存储服务器)节点:存储实际文 件薮籍 ·特点 ·透明性 ·高可用性 ·支持并发访问 ·可扩展性 ·安全性 Big Data Computing Technology,2017 Fall
10.2 HDFS文件系统 Big Data Computing Technology, 2017 Fall 9 分布式文件系统: • 物理存储资源和对象分散存储在通过网络相连的远程节 点上 • 主控服务器(也称元数据服务器):负责管理命名空间 和文件目录, • 远程数据服务器(也称存储服务器)节点:存储实际文 件数据 • 特点 • 透明性 • 高可用性 • 支持并发访问 • 可扩展性 • 安全性

10.2HDFS文件系统 HDFS体系结构: ·唯一主节点:运行NameNode,JobTracker, Zookeeper,Hmaster等负责集群管理、资源配 置、作业调度的程序 ·多个从节点(dataNode):承担数据存储及计 算任务。 ·客户端(Client):用于支持客户操作HDFS Big Data Computing Technology,2017 Fall 10
10.2 HDFS文件系统 Big Data Computing Technology, 2017 Fall 10 HDFS体系结构: • 唯一主节点:运行NameNode,JobTracker, Zookeeper,Hmaster等负责集群管理、资源配 置、作业调度的程序 • 多个从节点(dataNode):承担数据存储及计 算任务。 • 客户端(Client):用于支持客户操作HDFS
按次数下载不扣除下载券;
注册用户24小时内重复下载只扣除一次;
顺序:VIP每日次数-->可用次数-->下载券;
- 电子科技大学:《软件架构模型与设计》教学课件讲稿(Software Architecture Model and Design)第10讲 MapReduce计算模型.pdf
- 电子科技大学:《软件架构模型与设计》教学课件讲稿(Software Architecture Model and Design)第8讲 架构变革——云计算的架构(IBM).pdf
- 电子科技大学:《软件架构模型与设计》教学课件讲稿(Software Architecture Model and Design)第7讲 面向服务的架构(SOA).pdf
- 电子科技大学:《软件架构模型与设计》教学课件讲稿(Software Architecture Model and Design)第6讲 Web Service.pdf
- 电子科技大学:《软件架构模型与设计》教学课件讲稿(Software Architecture Model and Design)第5讲 分布式计算 Distributed Computing Architecture.pdf
- 电子科技大学:《软件架构模型与设计》教学课件讲稿(Software Architecture Model and Design)第4讲 并发计算 Concurrent Computing.pdf
- 电子科技大学:《软件架构模型与设计》教学课件讲稿(Software Architecture Model and Design)第3讲 软件体系结构风格.pdf
- 电子科技大学:《软件架构模型与设计》教学课件讲稿(Software Architecture Model and Design)第2讲 模型分析(软件体系结构建模).pdf
- 电子科技大学:《软件架构模型与设计》教学课件讲稿(Software Architecture Model and Design)第1讲 软件体系结构概论(主讲:林迪).pdf
- 南京大学:《面向对象程序设计》课程教学资源(PPT课件讲稿)面向对象程序设计语言基础.pptx
- 南京大学:《面向对象程序设计》课程教学资源(PPT课件讲稿)面向对象初探简介(主讲:马骏).pptx
- 南京大学:《计算机问题求解》课程教学资源(PPT课件讲稿)红黑树.pptx
- 南京大学:《计算机问题求解》课程教学资源(课件讲稿)Hashing方法.pdf
- 南京大学:《计算机问题求解》课程教学资源(课件讲稿)Heap & HeapSort ?.pdf
- 南京大学:《计算机问题求解》课程教学资源(PPT课件讲稿)基本数据结构.pptx
- 南京大学:《计算机问题求解》课程教学资源(课件讲稿)排序与选择 sorting and selection.pdf
- 南京大学:《计算机问题求解》课程教学资源(PPT课件讲稿)概率分析与随机算法.pptx
- 南京大学:《计算机问题求解》课程教学资源(PPT课件讲稿)离散概率基础.pptx
- 南京大学:《计算机问题求解》课程教学资源(PPT课件讲稿)递归及其数学基础.pptx
- 南京大学:《计算机问题求解》课程教学资源(PPT课件讲稿)分治法与递归.pptx
- 电子科技大学:《网络安全理论与技术 Theory and technology of network security》课程教学资源(课件讲稿)第一章 信息安全概述(陈伟、李树全).pdf
- 电子科技大学:《网络安全理论与技术 Theory and technology of network security》课程教学资源(课件讲稿)第二章 网络威胁、攻击与网络协议安全性.pdf
- 电子科技大学:《网络安全理论与技术 Theory and technology of network security》课程教学资源(课件讲稿)第四章 消息认证与数字签名.pdf
- 电子科技大学:《网络安全理论与技术 Theory and technology of network security》课程教学资源(课件讲稿)第三章 密码学基础与加密技术.pdf
- 电子科技大学:《网络安全理论与技术 Theory and technology of network security》课程教学资源(课件讲稿)第五章 密钥管理与分配.pdf
- 电子科技大学:《网络安全理论与技术 Theory and technology of network security》课程教学资源(课件讲稿)第六章 身份认证.pdf
- 电子科技大学:《网络安全理论与技术 Theory and technology of network security》课程教学资源(课件讲稿)第七章 访问控制.pdf
- 电子科技大学:《网络安全理论与技术 Theory and technology of network security》课程教学资源(课件讲稿)第九章 入侵检测与入侵防御技术.pdf
- 电子科技大学:《网络安全理论与技术 Theory and technology of network security》课程教学资源(课件讲稿)第八章 防火墙与VPN技术.pdf
- 电子科技大学:《网络安全理论与技术 Theory and technology of network security》课程教学资源(课件讲稿)第十章 总结与展望.pdf
- 电子科技大学:《网络计算模式 Network Computing Paradigm》课程教学资源(课件讲稿)01 概述及企业计算(丁熠).pdf
- 电子科技大学:《网络计算模式 Network Computing Paradigm》课程教学资源(课件讲稿)02 网格计算.pdf
- 电子科技大学:《网络计算模式 Network Computing Paradigm》课程教学资源(课件讲稿)03 云计算(一).pdf
- 电子科技大学:《网络计算模式 Network Computing Paradigm》课程教学资源(课件讲稿)04 云计算(二).pdf
- 电子科技大学:《网络计算模式 Network Computing Paradigm》课程教学资源(课件讲稿)05 云计算(三)数据一致性理论.pdf
- 电子科技大学:《网络计算模式 Network Computing Paradigm》课程教学资源(课件讲稿)06 P2P网络(一).pdf
- 电子科技大学:《网络计算模式 Network Computing Paradigm》课程教学资源(课件讲稿)07 P2P网络(二)Distributed Hash Table.pdf
- 电子科技大学:《网络计算模式 Network Computing Paradigm》课程教学资源(课件讲稿)08 域名系统.pdf
- 电子科技大学:《网络计算模式 Network Computing Paradigm》课程教学资源(课件讲稿)10 物联网.pdf
- 电子科技大学:《网络计算模式 Network Computing Paradigm》课程教学资源(课件讲稿)11 社会计算(一).pdf