《Python数据分析》课程电子教案（PPT课件）第1章 数据分析与可视化概述新

第1章 数据分析与可视化概述 Python数据分析

2020年新冠肺炎各省累计确认 病例分布示例

1.1 数据分析 • 数据：是指对客观事件进行记录并可以鉴别的符号，是对客 观事物的性质、状态以及相互关系等进行记载的物理符号或 这些物理符号的组合。它是可识别的、抽象的符号。 • 信息：是数据的内涵，信息依赖数据来表达。也就是说数据 是信息的表现形式，信息是数据有意义的表示。数据可以是 符号、文字、数字、语音、图像、视频等形式

1.1 数据分析 数据 信 息 数据是爆炸了，信息却很贫乏

• 数据分析：是指用适当的统计分析方法对收集来的 大量数据进行分析，为提取有用信息和形成结论而 对数据加以详细研究和概括总结的过程。 • 从广义的角度来说，数据分析涵盖了数据分析和数 据挖掘两个部分。 • 从狭义的角度来说，数据分析和数据挖掘存在不同 之处。我们常说的数据分析是指狭义的数据分析。 1.1 数据分析

广义的数据分析包括狭义数据分析 和数据挖掘。 狭义的数据分析是指根据分析目 的，采用对比分析、分组分析、交叉 分析和回归分析等分析方法，对收集 来的数据进行处理与分析，提取有价 值的信息，发挥数据的作用，得到一 个特征统计量结果的过程。 数据挖掘则是从大量的、不完全 的、有噪声的、模糊的、随机的实际 应用数据中，通过应用聚类、分类、 回归和关联规则等技术，挖掘潜在价 值的过程。 广义数据分析 狭义数据分析 数据挖掘 对 比 分 析 分 组 分 析 交 叉 分 析 回 归 分 析 . . 智 能 推 荐 关 联 规 则 分 类 模 型 聚 类 模 型 . . 指标统计量 模型或规则 数据隐含信息 1.1 数据分析

差异角度 数据分析 数据挖掘 定义 描述和探索性分析，评估现状和修正 不足 技术 技术性的“采矿”过程，发现未 知的模式和规律 侧重点 实际的业务知识 实际的业务知识 技能 统计学、数据库、Excel、可视化等 过硬的数学功底和编程技术 结果 需结合业务知识解读统计结果 模型或规则 数据分析与数据挖掘的区别 Increasing potential to support business decisions End User Business Analyst Data Analyst DBA Decision Making Data Presentation Visualization Techniques Data Mining Information Discovery Data Exploration Statistical Summary, Querying, and Reporting Data Preprocessing/Integration, Data Warehouses Data Sources Paper, Files, Web documents, Scientific experiments, Database Systems

需求分析 数据获取 数据预处理 分析与建模 模型评价与优化 部署 业务部门 财务部门 生产部门 网络爬虫 历史数据 实时数据 数据清洗 数据标准化 数据变换 数据合并 对比分析 分组分析 交叉分析 回归分析 智能推荐 关联规则 分类模型 聚类模型 聚类模型评价 分类模型评价 回归模型评价 业务系统 财务系统 生产系统 • 典型的数据分析的流程 1.1 数据分析

1.2 数据可视化 • 数据可视化，即以图形化方式表示数据。它主要是借助于图形 化手段，让人们可以通过图形直观地看到数据分析的结果。发 现数据内在的价值，从而帮助决策。 • 有效的可视化能够显著减少人们在处理信息和获取有价值见解 所需的时间。 • 数据分析和数据可视化这两个术语密不可分。在实际处理数据 时，数据分析先于可视化输出，而可视化分析又是呈现有效分 析结果的一种好方法