复旦大学：《高级Web技术》课程教学课件PPT（2011）_08 云计算之Google平台

云计算之 Google系列

主要内容 ● Google云计算背景 分布式文件系统GFS ●并行数据处理模型 Map reduce ●分布式锁服务 Chubby 分布式数据库 BigTable Google appengine

主要内容  Google云计算背景  分布式文件系统GFS  并行数据处理模型MapReduce  分布式锁服务Chubby  分布式数据库BigTable  Google AppEngine

Google的云计算

3

分布式文件系统GFS Application (file name, chunk index) GFS master /foo/bar GFS client File namespace chunk 2efo (chunk handle, chunk locations) Data messages Instructions to chunkserver Control messages GFS的容错措施有哪些? chunk data Linux file system Linux file systen

分布式文件系统GFS GFS的容错措施有哪些？

GFS的容错方法 ●GFS的容错机制 Chunk server容错 每个 Chunk有多个存储副本(通常是3个),分别存储于不同 的服务器上 每个 Chunk又划分为若干 Block(64KB),每个 Block对应 个32bit的校验码,保证数据正确(若某个 Block错误,则转移 至其他 Chunk副本) Master容错(影子节点热备) 三类元数据:命名空间(目录结构)、 Chunk与文件名的映 射以及 Chunk副本的位置信息 前两类通过日志提供容错, Chunk副本信息存储于 Chunk Server, Master出现故障时可恢复

GFS的容错方法  GFS的容错机制  Chunk Server容错  每个Chunk有多个存储副本（通常是3个），分别存储于不同 的服务器上  每个Chunk又划分为若干Block（64KB），每个Block对应一 个32bit的校验码，保证数据正确（若某个Block错误，则转移 至其他Chunk副本）  Master容错（影子节点热备）  三类元数据：命名空间（目录结构）、Chunk与文件名的映 射以及Chunk副本的位置信息  前两类通过日志提供容错，Chunk副本信息存储于Chunk Server，Master出现故障时可恢复 5

并行数据处理模型 Map Reduce User Program () fork (1)fo E1) fork Maste (2) assign worke olit o (6)write split I worker (5) remote read file 0 split 2A3)read cal write worker split 3 worker output file I split 4 worker 处理流程 2、分片方式

并行数据处理模型MapReduce 1、处理流程 2、分片方式

灵活的 Mapreduce ●所有步骤均可控,可灵活处理各类分布式问题 Node Node 2 Node 3 Pre-loaded local input data Mapping process Mapping process Mapping process Intermediate data from mappers Values exchanged by shuffle process Node Node 2 Node 3 Reducing process generates outputs Reducing process Reducing process Reducing process Outputs stored

灵活的MapReduce  所有步骤均可控，可灵活处理各类分布式问题

Google的云计算 分布式锁服务 Chubby

分布式锁服务Chubby 8

Chubby是什么? 主要用于解决分布式一致性问题 。在一个分布式系统中,有一组的 Process,它们需要确定 个 Value。于是每个 Process都提出了一个 Value,一致 性就是指只有其中的一个 Value能够被选中作为最后确 定的值,并且当这个值被选出来以后,所有的 Process都 需要被通知到 粗粒度的分布式锁服务 Chubby是 Google为解决分布式一致性问题而设计的提 供粗粒度锁服务的文件系统 其他分布式系统可以使用它对共享资源的访问进行同步

Chubby是什么？  主要用于解决分布式一致性问题 ◦ 在一个分布式系统中，有一组的Process，它们需要确定 一个Value。于是每个Process都提出了一个Value，一致 性就是指只有其中的一个Value能够被选中作为最后确 定的值，并且当这个值被选出来以后，所有的Process都 需要被通知到  粗粒度的分布式锁服务 ◦ Chubby是Google为解决分布式一致性问题而设计的提 供粗粒度锁服务的 ◦ 其他分布式系统可以使用它对共享资源的访问进行同步 9

Chubby的设计目标 需要实现的特性 高可用性 高可靠性 ●支持粗粒度的建议性锁服务 ●支持小规模文件直接存储 ●不作考虑的特性 高性能 存储能力

Chubby的设计目标  需要实现的特性  高可用性  高可靠性  支持粗粒度的建议性锁服务  支持小规模文件直接存储  不作考虑的特性  高性能  存储能力 10