南京大学：《高级机器学习》课程教学资源（课件讲稿）01 基础（主讲：詹德川）

高级机器学习(2021秋季学期) 一、基础 主讲教师：詹德川

一、基 础 主讲教师：詹德川 高级机器学习 (2021秋季学期)

机器学习 智能化是信息科学技术发展的主流趋势，机器学习是实现智能化的关键 经典定义：利用经验改善系统自身的性能 [T.Mitchell教科书，1997刀 经验→ 数据 随着该领域的发展，目前主要研究智能数据分析的理论和方法，并已成为 智能数据分析技术的源泉之一 图灵奖连续授予在该方面取得突出成就的学者 2010 2011 Leslie Valiant 年度 Judea Pearl 年度 (1949-) (1936-) (Harvard Univ.) (UCLA) “计算学习理论”奠基人 “图模型学习方法”先驱

机器学习 经典定义：利用经验改善系统自身的性能 [T. Mitchell 教科书, 1997] 智能化是信息科学技术发展的主流趋势，机器学习是实现智能化的关键 Leslie Valiant (1949 - ) (Harvard Univ.) “计算学习理论”奠基人 “图模型学习方法”先驱 Judea Pearl (1936 - ) (UCLA) 2010 年度 2011 年度 图灵奖连续授予在该方面取得突出成就的学者 经验  数据 随着该领域的发展，目前主要研究智能数据分析的理论和方法，并已成为 智能数据分析技术的源泉之一

典型的机器学习过程 使用学习算法(learning algorithm) 类别标记 训练数据 (label) 训练 模型 \ 色泽 根蒂 敲声 好瓜 蜷缩 决策树，神经网络， 浊响 是 支持向量机， 乌黑 蜷缩 浊响 Boosting,.贝叶斯网， …… 青绿 硬挺 清脆 否 乌黑 稍蜷 沉闷 否 ?=是 新数据样本 (浅白，蜷缩，浊响，？) 类别标记 未知

典型的机器学习过程 决策树，神经网络，支持向量机， Boosting，贝叶斯网，…… 训练数据 模型 色泽 根蒂 敲声 好瓜 青绿 蜷缩 浊响 是 乌黑 蜷缩 浊响 是 青绿 硬挺 清脆 否 乌黑 稍蜷 沉闷 否 类别标记 （label） 训练 ? = 是 新数据样本 (浅白, 蜷缩, 浊响, ?) 类别标记 未知 使用学习算法（learning algorithm）

大数据时代 大数据丰大价值 机器学习 有效的数据分析

大数据时代 大数据  大价值 有效的数据分析 机器学习

机器学习已经“无处不在” 车载极像头 器学 车载雷达 方向盘 控制 1旋转幅度1 汽车 油门幅度1 a爸a {刹车废 模型 搜索引擎 机图学习技术正在支控若各种授索引等 生物特征识别 汽车自动驾驶 互联网搜索 How Obama's data crunchers helped him win TIME 军事决策助手(DARPA) 火星机器人 美国总统选举

机器学习已经“无处不在” 互联网搜索 军事决策助手 (DARPA) 火星机器人 生物特征识别 美国总统选举 汽车自动驾驶

机器学习源自“人工智能” Artificial Intelligence (AI),1956- J.McCarthy M.Minsky C.Shannon “人工智能之父” 图灵奖(1969) “信息论之父” 图灵奖(1971) H.A.Simon A.Newell 1956年夏美国达特茅斯学院 图灵奖(1975) 图灵奖(1975) 诺贝尔经济学奖(1978) 达特茅斯会议标志着人工智能这一学科的诞生

机器学习源自“人工智能” Artificial Intelligence (AI), 1956 - 1956年夏 美国达特茅斯学院 达特茅斯会议标志着人工智能这一学科的诞生 J. McCarthy “人工智能之父” 图灵奖(1971) M. Minsky 图灵奖(1969) C. Shannon “信息论之父” A. Newell 图灵奖(1975) H. A. Simon 图灵奖(1975) 诺贝尔经济学奖(1978) …… ……

第一阶段：推理期 1956-1960s:Logic Reasoning 出发点： “数学家真聪明！” 赫伯特·西蒙 主要成就：自动定理证明系统（例如， (1916-2001) 西蒙与纽厄尔的“Logic Theorist” 1975年图灵奖 系统) 渐渐地，研究者们意识到，仅有逻辑 推理能力是不够的… 阿伦·纽厄尔 (1927-1992) 1975年图灵奖

第一阶段：推理期 1956-1960s: Logic Reasoning  出发点: “数学家真聪明！”  主要成就: 自动定理证明系统 (例如， 西蒙与纽厄尔的“Logic Theorist” 系统) 渐渐地，研究者们意识到，仅有逻辑 推理能力是不够的 … 赫伯特•西蒙 (1916-2001) 1975年图灵奖 阿伦•纽厄尔 (1927-1992) 1975年图灵奖

第二阶段：知识期 1970s-1980s:Knowledge Engineering 出发点： “知识就是力量！” 爱德华•费根鲍姆 (1936-) 主要成就：专家系统（例如，费根鲍 1994年图灵奖 姆等人的DENDRAL”系统) 渐渐地，研究者门发现，要总结出知识再“教”给 系统，实在太难了…

 出发点: “知识就是力量！”  主要成就: 专家系统 (例如，费根鲍 姆等人的“DENDRAL”系统) 渐渐地，研究者们发现，要总结出知识再“教”给 系统，实在太难了 … 1970s -1980s: Knowledge Engineering 第二阶段：知识期 爱德华•费根鲍姆 (1936- ) 1994年图灵奖

第三阶段：学习期 1990s -now:Machine Learning 出发点： “让系统自己学！” 主要成就：… 机器学习是作为“突破知识工程瓶颈” 之利器而出现的 恰好在20世纪90年代中后期，人类发现自己淹没在数据的汪洋 中，对自动数据分析技术一一机器学习的需求日益迫切

第三阶段：学习期  出发点: “让系统自己学！”  主要成就: …… 1990s -now: Machine Learning 机器学习是作为“突破知识工程瓶颈” 之利器而出现的 恰好在20世纪90年代中后期，人类发现自己淹没在数据的汪洋 中，对自动数据分析技术——机器学习的需求日益迫切

☐Active Learning Network and Graph Analysis 今天的“机器学 Approximate Inference Neural Networks and Deep Learning Bayesian Nonparametric Methods ☐Neuroscience 习”已经是一个 ☐Bioinformatics ☐Causal Inference 经常被谈到的“深度学习” 广袤的学科领域 □Clustering (Deep Learning)仅是 Computational Learning Theory 机器学习中的一个小分支 Computational Social Sciences LUtner Mogeis ana Metnoas ☐Computer Vision Parallel and Distributed Learning 例如，这是第33届 Cost-Sensitive Learning ☐Planning and Control 国际机器学习大会 ☐Digital Humanities Privacy,Anonymity,and Security Economics and Finance Probabilistic Programming (ICML2016) ☐Ensemble Methods Ranking and Preference Learning 的“主题领域” Feature Selection and Dimensionality Reduction ☐Recommender Systems ☐Gaussian Processes Reinforcement Learning ☐Graphical Models Representation Learning Graphs and Social Networks Resource Efficient Learning ☐Health Care ☐Robotics Inductive Logic Programming and Relational Learning Rule and Decision Tree Learning 2006年，美国CMU Information Retrieval Semi-Supervised Learning (卡内基梅隆大学) ☐Information Theory sparsity and Compressed Sensing ☐Kernel Methods 成立“机器学习系” ☐Spectral Methods Large Scale Learning and Big Data ☐Speech Recognition Latent Variable Models statistical Learning Theory Learning and Game Theory Statistical Relational Learning Learning and Mechanism Design Structured Prediction ☐Learning for Games ☐Supervised Learning

今天的“机器学 习”已经是一个 广袤的学科领域 经常被谈到的“深度学习” (Deep Learning)仅是 机器学习中的一个小分支 2006年，美国CMU (卡内基梅隆大学) 成立“机器学习系” 例如，这是第33 届 国际机器学习大会 (ICML 2016) 的“主题领域