《计算机应用基础》课程教学资源（PPT课件讲稿）第6章 大数据基础

山东理工大客SHANDONGUNIVERSITYOFTECHNOLOGY第三篇数据处理与信息管理第六章大数据基础

第三篇 数据处理与信息管理 第六章 大数据基础

0目录计建机科学与技术学院入概述2.大数据采集与处理3大数据管理4大数据分析与挖掘2.大数据可视化

目录 4. 大数据分析与挖掘 3. 大数据管理 2. 大数据采集与处理 1. 概述 2. 大数据可视化

06.1概述计算学与技术学所数据在计算机科学中，数据是指所有能输入到计算机并被计算机程序处理的符号的介质的总称是用于输入电子计算机进行处理，具有一定意义的数字、字母、符号和模拟量等的通称，在计算机系统中，数据以二进制信息单元0.1的形式表示1Byte=8 bit, 1KB= 1024Bytes, 1MB= 1024KB, 1GB= 1024MB,1TB=1024GB,1PB=1024TB,1EB=1024PB,1ZB=1024EB1YB=1024ZB, 1BB= 1024YB, 1NB= 1024BB, 1DB=1024NB

6.1概述 ◼ 数据 在计算机科学中，数据是指所有能输入到 计算机并被计算机程序处理的符号的介质的总称， 是用于输入电子计算机进行处理，具有一定意义 的数字、字母、符号和模拟量等的通称。 在计算机系统中，数据以二进制信息单元 0,1的形式表示。 1 Byte =8 bit，1 KB = 1024 Bytes，1 MB = 1024 KB，1 GB = 1024 MB， 1 TB = 1024 GB，1 PB = 1024 TB，1 EB = 1024 PB，1 ZB = 1024 EB， 1 YB = 1024 ZB，1 BB = 1024 YB，1 NB = 1024 BB，1 DB = 1024 NB

06.1概述计算机科学与技术学院大数据的概念口麦肯锡对大数据的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。口维克托·迈尔-舍恩伯格与肯尼斯·库克耶编写的《大数据时代》中提到：大数据是指不用随机分析法（抽样调查）这种捷径，而是对所有数据进行分析处理

6.1概述 ◼ 大数据的概念 ❑ 麦肯锡对大数据的定义是：一种规模大到在获取、 存储、管理、分析方面大大超出了传统数据库软件 工具能力范围的数据集合，具有海量的数据规模、 快速的数据流转、多样的数据类型和价值密度低四 大特征。 ❑ 维克托·迈尔-舍恩伯格与肯尼斯·库克耶编写的《大 数据时代》中提到：大数据是指不用随机分析法 （抽样调查）这种捷径，而是对所有数据进行分析 处理

06.1概述计草机科学与技术学院1大数据的特征大数据有4个特征，简称4V：数据规模庞大（Volume）数据种类繁多（Variety）数据流转速度快（Velocity）口价值密度低（value）

6.1概述 ◼ 大数据的特征 大数据有4个特征，简称4V： ❑ 数据规模庞大（Volume） ❑ 数据种类繁多（Variety） ❑ 数据流转速度快（Velocity） ❑ 价值密度低（value）

06.1概述计建机科学与技术学院大数据的应用口金融大数据大数据在金融行业的应用价值体现在以下几个方面：(1）提供决策支持(2）提升数据资产管理能力(3）实现精准营销服务（4）增强风险管控能力

6.1概述 ◼ 大数据的应用 ❑ 金融大数据 大数据在金融行业的应用价值体现在以下几个方面： （1）提供决策支持 （2）提升数据资产管理能力 （3）实现精准营销服务 （4）增强风险管控能力

06.1概述计草机科学与校术学院大数据的应用口工业大数据工业大数据的应用价值体现在以下几个方面：(1）加速产品创新(2)优化供应链(3)完善产品质量保障(4)提升制造智能化水平

6.1概述 ◼ 大数据的应用 ❑ 工业大数据 工业大数据的应用价值体现在以下几个方面： （1）加速产品创新 （2）优化供应链 （3）完善产品质量保障 （4）提升制造智能化水平

口6.2大数据采集与预处理计算棋科学与技术学院数据采集是指从传感器、社交网络、移动互联网等获得各种类型的结构化、半结构化及非结构化的海量数据并存储在某种设备上的过程数据采集是大数据处理流程的第一步，是大数据处理的基础。大数据采集方法：系统日志采集、网络数据采集、数据库采集、传感器采集等

6.2大数据采集与预处理 ◼ 数据采集是指从传感器、社交网络、移动互联 网等获得各种类型的结构化、半结构化及非结 构化的海量数据并存储在某种设备上的过程。 数据采集是大数据处理流程的第一步，是大数 据处理的基础。 ◼ 大数据采集方法：系统日志采集、网络数据采集、 数据库采集、传感器采集等

口6.2大数据采集与预处理计算机科学与技米学院数据预处理是指在数据进行挖掘、分析之前对原始数据进行审核、筛选、排序等必要的处理，使得不同来源的数据整合成一致的、适合数据分析算法和工具读取的数据。数据预处理有多种方法：数据清理，数据集成数据变换，数据归约等

6.2大数据采集与预处理 ◼ 数据预处理是指在数据进行挖掘、分析之前， 对原始数据进行审核、筛选、排序等必要的处 理，使得不同来源的数据整合成一致的、适合 数据分析算法和工具读取的数据。 ◼ 数据预处理有多种方法：数据清理，数据集成， 数据变换，数据归约等

口6.3大数据管理计塑机科学与技术学院数据管理是利用计算机硬件和软件技术对采集到的数据存储起来，建立相应的数据库，并进行处理和调用

6.3大数据管理 ◼ 数据管理是利用计算机硬件和软件技术对采集 到的数据存储起来，建立相应的数据库，并进 行处理和调用