《大数据技术》课程教学大纲

一、课程基本信息中文名称：大数据技术英文名称：BigDataTechnology课程编码：10S4014B课程类别：专业选修课总学时：32(理论学时32)总学分：2学分适用专业：智能制造工程专业先修课程：程序设计基础、面向对象的程序设计、计算机网络、操作系统原理开课系部：机电工程系二、课程性质、课程目标与及其对毕业要求的支撑1、课程性质大数据技术是一门介绍大数据基础理论并与实践相结合的课程，本课程在注重大数据时代应用环境前提下，从初学者角度出发，以轻量级理论、丰富实例对比性地介绍大数据常用的各种基础工具。本课程以CentOS7、Eclipse等作为实验开发环境和工具，搭建包括Hadoop、HBase、ZooKeeper、Spark等Hadoop生态圈的实验集群，通过经典的相关实验，巩固学生的大数据基础理论知识，使学生由浅入深、由点到面地逐步提高，能结合具体实验熟悉大数据基础技术，提高学生的综合实践能力。2、课程目标课程目标1：掌握扎实的大数据基础知识和大数据开发技术方法、工具和环境课程目标2：具备一定的大数据处理技术开发能力，培养独立思考和判断、分析问题和解决问题以及较强的实践动手能力；课程目标3：培养学生勤奋踏实，适应大数据行业快速发展的素质，具备良好的大数据处理技术职业道德。课程目标4：宣传国家先进的电机应用与制造技术，增加学生学习的使命感与责任感，培养“理论自信、道路自信、制度自信、文化自信"的新型社会主义接班人。3、课程目标对毕业要求的支撑

一、课程基本信息 中文名称：大数据技术 英文名称：Big Data Technology 课程编码：10S4014B 课程类别：专业选修课 总 学 时：32(理论学时32) 总 学 分：2学分 适用专业：智能制造工程专业 先修课程：程序设计基础、面向对象的程序设计、计算机网络、操作系统原理 开课系部：机电工程系 二、课程性质、课程目标与及其对毕业要求的支撑 1、课程性质 大数据技术是一门介绍大数据基础理论并与实践相结合的课程，本课程在注重大数据时代应用 环境前提下，从初学者角度出发，以轻量级理论、丰富实例对比性地介绍大数据常用的各种基础工 具。本课程以CentOS 7、Eclipse等作为实验开发环境和工具，搭建包括Hadoop、HBase、 ZooKeeper、Spark等Hadoop生态圈的实验集群，通过经典的相关实验，巩固学生的大数据基础理 论知识，使学生由浅入深、由点到面地逐步提高，能结合具体实验熟悉大数据基础技术，提高学生 的综合实践能力。 2、课程目标 课程目标1：掌握扎实的大数据基础知识和大数据开发技术方法、工具和环境; 课程目标2：具备一定的大数据处理技术开发能力，培养独立思考和判断、分析问题和解决问题 以及较强的实践动手能力; 课程目标3：培养学生勤奋踏实，适应大数据行业快速发展的素质，具备良好的大数据处理技术 职业道德。 课程目标4：宣传国家先进的电机应用与制造技术，增加学生学习的使命感与责任感，培养“理论 自信、道路自信、制度自信、文化自信”的新型社会主义接班人。 3、课程目标对毕业要求的支撑

课程目标毕业要求234（1）工程知识：能够多将数学、自然科学、工程基础和专业0.50.4 0.1 知识用于解决复杂机械工程问题。（2）问题分析：能够应用数学、自然科学和工程科学的基0.3 0.2 0.5本原理，计算机编程知识，识别、表达、并通过文献研究分析复杂机电工程问题，以获得有效结论。（9）个人和团队：能够在多学科背景下的团队中承担个体、0.30.5 0.2 团队成员以及负责人的角色。（12）终身学习：具有自主学习和终身学习的意识，有不断1学习和适应发展的能力。三、课程教学基本要求第一章大数据绪论[教学内容与要求]了解大数据的发展背景；掌握大数据的基本特点和基本应用流程；了解大数据在行业中的应用；了解大数据在发展中的机遇和挑战[教学重点]大数据的基本特点和基本应用流程[教学难点]大数据的基本特点。第二章Hadoop基础[教学内容与要求]掌握ApacheHadoop的基本概念；了解Hadoop的安全性流程；掌握Hadoop环境的搭建步骤。[教学重点]ApacheHadoop的基本概念。[教学难点]Hadoop环境的搭建步骤。第三章HDFS的介绍和简单操作[教学内容与要求]掌握ApacheHadoop的基本概念；了解HDFS的概念；了解HDFS的工作原理；了解HDFS的读、写、删除操作；了解HDFS的常用命令；掌握HDFS的简单实验

三、课程教学基本要求 第一章 大数据绪论 [教学内容与要求] 了解大数据的发展背景;掌握大数据的基本特点和基本应用流程;了解大数据在行业中的应用;了解 大数据在发展中的机遇和挑战 [教学重点] 大数据的基本特点和基本应用流程。 [教学难点] 大数据的基本特点。 第二章 Hadoop基础 [教学内容与要求] 掌握Apache Hadoop的基本概念;了解Hadoop的安全性流程;掌握Hadoop环境的搭建步骤。 [教学重点] Apache Hadoop的基本概念。 [教学难点] Hadoop环境的搭建步骤。 第三章 HDFS的介绍和简单操作 [教学内容与要求] 掌握Apache Hadoop的基本概念;了解HDFS的概念;了解HDFS的工作原理;了解HDFS的读、 写、删除操作;了解HDFS的常用命令;掌握HDFS的简单实验

[教学重点]ApacheHadoop的基本概念。[教学难点]HDFS的工作原理及其操作。第四章YARN的原理和操作[教学内容与要求]了解YARN的基本架构；掌握YARN的工作流程；掌握YARN协议；了解YARN优点。[教学重点]YARN的工作流程。[教学难点]YARN协议。第五章MapReduce的介绍和简单使用[教学内容与要求]掌握MapReduce的Map过程；掌握MapReduce的Reduce过程；了解搭建使用MapReduce需要的环境了解简单的MapReduce实验。[教学重点]MapReduce的Map过程。[教学难点]MapReduce的Reduce过程。第六章数据仓库Hive[教学内容与要求]掌握Hive的概念和基本特点；了解HiveQL的基本概念；掌握Hive实验环境的搭建以及简单实验操作。[教学重点]Hive的概念和基本特点[教学难点]Hive实验环境的搭建。第七章开源数据库HBase[教学内容与要求]

[教学重点] Apache Hadoop的基本概念。 [教学难点] HDFS的工作原理及其操作。 第四章 YARN的原理和操作 [教学内容与要求] 了解YARN的基本架构;掌握YARN的工作流程;掌握YARN协议;了解YARN优点。 [教学重点] YARN的工作流程。 [教学难点] YARN协议。 第五章 MapReduce的介绍和简单使用 [教学内容与要求] 掌握MapReduce的Map过程;掌握MapReduce的Reduce过程;了解搭建使用MapReduce需要的 环境;了解简单的MapReduce实验。 [教学重点] MapReduce的Map过程。 [教学难点] MapReduce的Reduce过程。 第六章 数据仓库Hive [教学内容与要求] 掌握Hive的概念和基本特点;了解HiveQL的基本概念;掌握Hive实验环境的搭建以及简单实验操 作。 [教学重点] Hive的概念和基本特点。 [教学难点] Hive实验环境的搭建。 第七章 开源数据库HBase [教学内容与要求]

掌握HBase的基本概念、数据模型、访问接口；了解HBase的安装配置过程：掌握HBase的简单实验。[教学重点]HBase的基本概念。[教学难点]HBase的数据模型、访问接口。第八章分布式应用程序协调服务ZooKeepel[教学内容与要求]了解Zookeeper的发展背景；掌握Zookeeper的特点、原理以及关键算法；掌握Zookeeper的部署和简单的实验应用；掌握Zookeeper工作原理[教学重点]Zookeeper的特点。[教学难点]Zookeeper的原理以及关键算法。第九章计算引擎Spark[教学内容与要求]了解Spark的基本概念、组件组成、工作原理及基本特性；掌握Spark的部署；掌握Spark的简单的实验应用。[教学重点]Spark的基本概念、组件组成、工作原理。[教学难点]Spark的部署。第十章消息系统ApacheKafka[教学内容与要求]了解Kafka结构；了解Kafka中两个基本的概念，Producer和Consumer了解Kafka的特性；了解对Kafka消息日志的操作：掌握Kafka集群搭建的过程以及使用Kafka进行消息发送/接收的练习。[教学重点]Kafka中两个基本的概念，Producer和Consumer。[教学难点]

掌握HBase的基本概念、数据模型、访问接口;了解HBase的安装配置过程;掌握HBase的简单实 验。 [教学重点] HBase的基本概念。 [教学难点] HBase的数据模型、访问接口。 第八章 分布式应用程序协调服务ZooKeeper [教学内容与要求] 了解Zookeeper的发展背景;掌握Zookeeper的特点、原理以及关键算法;掌握Zookeeper的部署和 简单的实验应用;掌握Zookeeper工作原理。 [教学重点] Zookeeper的特点。 [教学难点] Zookeeper的原理以及关键算法。 第九章 计算引擎Spark [教学内容与要求] 了解Spark的基本概念、组件组成、工作原理及基本特性;掌握Spark的部署;掌握Spark的简单的 实验应用。 [教学重点] Spark的基本概念、组件组成、工作原理。 [教学难点] Spark的部署。 第十章 消息系统Apache Kafka [教学内容与要求] 了解Kafka结构;了解Kafka中两个基本的概念， Producer和Consumer;了解Kafka的特性;了解对 Kafka消息日志的操作;掌握Kafka集群搭建的过程以及使用Kafka进行消息发送/接收的练习。 [教学重点] Kafka中两个基本的概念， Producer和Consumer。 [教学难点]

Kafka集群搭建的过程根据本课程内容，课程内容对课程目标的支撑如下：课程目标1课程目标2课程目标3课程目标40.50.2 0. 2 0.1 大数据概述0.2 Hadoop基础0.50.3 HDFS的介绍和简单操作0.2 0.50.30.4 0.3 0.3YARN的原理和操作0.3 0.50.2 MapReduce的介绍和简单使用0.30.40.3 数据仓库Hive课程目标1课程目标2课程目标3课程目标40.50.5 开源数据库HBase0.3 0.50.2 分布式应用程序协调服务ZaoKeeper0.30.4 0.3 计算引擎Spark0.40.50.1消息系统ApacheKafka四、有关教学环节的要求1、教学方法：教学方法包括课堂讲授、随堂讨论、答疑。(1)课堂讲授：以大数据技术基础为主线，将本课程所涉及的各项知识点学习贯穿起来，方便学生的理解和记忆。（课程目标1)采用大数据工具实践驱动，案例教学方法，加强学生实践动手思维的培养。（课程目标3)以机房授课方式将教学过程从教学向学习转换，改变传统的以教为中心的教学方式，让学生边学边练，培养学习兴趣，构建自己的经验和知识体系。（课程目标1)(2)随堂讨论：总结复杂知识点的执行步骤，对于复杂的知识点，总结规律并把它的实现过程归纳出具体的步骤。（课程目标2、课程目标4)(3)答疑：针对课程的重点和难点及学生提出的问题，由教师组织进行现场或网络答疑。（课程目标3)2、教学手段在教学过程中要掌握传授知识和培养智能的辩证关系，特别注意培养学生的分析问题和解决问题的能力，始终贯彻教书育人的思想；充分利用多媒体课件以及视频信息，实验案例项目等教学手段。（课程目标1、课程目标2）在教学中应适当安排课堂讨论。这样既利于学生灵活掌握所学知识，有利于活跃学习气氛，增强学习兴趣，进行课程思政建设。（课程目标3、课程目标4）3、作业要求：

Kafka集群搭建的过程。 根据本课程内容，课程内容对课程目标的支撑如下： 四、有关教学环节的要求 1、教学方法： 教学方法包括课堂讲授、随堂讨论、答疑。 (1)课堂讲授：以大数据技术基础为主线，将本课程所涉及的各项知识点学习贯穿起来，方便学 生的理解和记忆。(课程目标1)采用大数据工具实践驱动，案例教学方法，加强学生实践动手思维的 培养。(课程目标3)以机房授课方式将教学过程从教学向学习转换，改变传统的以教为中心的教学方 式，让学生边学边练，培养学习兴趣，构建自己的经验和知识体系。(课程目标1) (2)随堂讨论：总结复杂知识点的执行步骤，对于复杂的知识点，总结规律并把它的实现过程归 纳出具体的步骤。(课程目标2、课程目标4) (3)答疑：针对课程的重点和难点及学生提出的问题，由教师组织进行现场或网络答疑。(课程目 标3) 2、教学手段： 在教学过程中要掌握传授知识和培养智能的辩证关系，特别注意培养学生的分析问题和解决问 题的能力，始终贯彻教书育人的思想;充分利用多媒体课件以及视频信息，实验案例项目等教学手 段。(课程目标1、课程目标2) 在教学中应适当安排课堂讨论。这样既利于学生灵活掌握所学知识，有利于活跃学习气氛，增 强学习兴趣，进行课程思政建设。(课程目标3、课程目标4) 3、作业要求：

结合一定量的作业加强学生对概念和方法的理解。(课程目标3)4、课程考试：本课程为专业选修课程，课程考核内容为本大纲规定内容，期末考核方式为考查，期未考核方法为闭卷考试。成绩评定一般采用结构成绩，总评成绩=60%期末考试成绩+40%平时成绩。注意：期未考试成绩为50分以下时，不允许加平时成绩。通过期未考试，使学生增加了对大数据的构成及软件实现有了深刻认识，提升了理论联系实际的工程能力。体现了课程目标中的1、2、3。平时成绩中的课堂表现环节，加深知识的实践应用水平，体现了教学目标中的3、4。五、学时分配各教学环节学时分配作业章节备注主要内容题量讲授讨论课外小计习题1大数据概述22222Hadoop基础224HDFS的介绍和简单操作422YARN的原理和操作54MapReduce的介绍和简单使用644数据仓库Hive744开源数据库HBase分布式应用程序协调服务84ZooKeeper9计算引擎Spark331033消息系统ApacheKafka合计30322

结合一定量的作业加强学生对概念和方法的理解。(课程目标3) 4、课程考试： 本课程为专业选修课程，课程考核内容为本大纲规定内容，期末考核方式为考查，期末考核方 法为闭卷考试。成绩评定一般采用结构成绩，总评成绩=60%期末考试成绩+40%平时成绩。注意： 期末考试成绩为50分以下时，不允许加平时成绩。通过期末考试，使学生增加了对大数据的构成及 软件实现有了深刻认识，提升了理论联系实际的工程能力。体现了课程目标中的1、2、3。平时成绩 中的课堂表现环节，加深知识的实践应用水平，体现了教学目标中的3、4。 五、学时分配