电子科技大学：《统计学习理论及应用 Statistical Learning Theory and Applications》课程教学资源（课件讲稿）第二讲 概率与线性代数回顾

统计学习理论及应用 第二讲概率与线性代数回顾 编写：文泉、陈娟 电子科技大学 计机科学与工程学院

统计学习理论及应用 第二讲 概率与线性代数回顾 编写：文泉、陈娟 电子科技大学 计算机科学与工程学院

目录 ①线性代数 。符号和基础知识 。矩阵乘法 。运算性质 。矩阵微分 ②概率论 。概率空间 。随机变量及其分布 。随机变量的数字特征 。条件期望 1/81

目录1 线性代数 符号和基础知识 矩阵乘法 运算性质 矩阵微分 2 概率论 概率空间 随机变量及其分布 随机变量的数字特征 条件期望 1 / 81

知识点： ·向量的基本概念、性质和计算 ·矩阵的基本概念、性质和计算 ·概率的基本概念、性质和计算 ·随机变量及其分布的基本概念、性质和计算 ·常见的概率分布 重点与难点： 。重点：统计学习中涉及到的线性代数与概率论的主要 概念，性质，以及常见的概率分布。 ●难点：随机变量的概念和理解 2/81

知识点： 向量的基本概念、性质和计算 矩阵的基本概念、性质和计算 概率的基本概念、性质和计算 随机变量及其分布的基本概念、性质和计算 常见的概率分布 重点与难点： 重点：统计学习中涉及到的线性代数与概率论的主要 概念，性质，以及常见的概率分布。 难点：随机变量的概念和理解 2 / 81

2.1.线性代数 Linear algebra provides a way of compactly representing and operating on sets of linear equations.For example,consider the following system of equations: 4x1-5x2=-13 -2x1+3x2=9 In matrix notation,Ax =b,where 4=(4名)x=(0)b=(〉 3/81

2.1. 线性代数 Linear algebra provides a way of compactly representing and operating on sets of linear equations. For example, consider the following system of equations: 4x1 − 5x2 = −13 −2x1 + 3x2 = 9 In matrix notation, Ax = b, where A =  4 −5 −2 3  , x =  x1 x2  , b =  −13 9  3 / 81

2.1.1.符号和基础知识 矩阵和转置：A∈Rmx",m行，n列。 a11 a12 413 ain a21 a22 123 a2n A= ami am2 am3 amn au a121 431 ·· am1 a22 AT= a12 d32 am2 、 ain a2n a3n amn 4/81

2.1.1. 符号和基础知识 矩阵和转置：A ∈ R m×n , m 行， n 列。 A =   a11 a12 a13 · · · a1n a21 a22 a23 · · · a2n . . . . . . . . . . . . . . . am1 am2 am3 · · · amn   A T =   a11 a21 a31 · · · am1 a12 a22 a32 · · · am2 . . . . . . . . . . . . . . . a1n a2n a3n · · · amn   4 / 81

向量与矩阵 ·d维列向量x及其转置x'orxT: X1 X2 X三 ,x=x'=(x1,x2,…,xd We denote the j-th column of A by ay or 4.,j,a为列向量。 A=a1,a2,…,an We denote the i-th row of A by ait or A,,aiI为行向量。 a2 A= 5/81

向量与矩阵 ▶ d 维列向量 x 及其转置 x ′ or x T : x =   x1 x2 . . . xd   , x T = x ′ = (x1, x2, · · · , xd) ▶ We denote the j-th column of A by aj or A:, j， aj 为列向量。 A = [a1, a2, · · · , an] . ▶ We denote the i-th row of A by ai T or Ai, : , ai T 为行向量。 A =      a1 T a2 T . . . am T      5 / 81

2.1.2.矩阵乘法 设A∈Rmxm,B∈RmxP, C=AB∈RmxP, where Cy=∑aabg k=1 给定x,y∈R,x'y称为内积(inner product or dot product), xyeR=∑x i1 ·给定x∈Rm,y∈R,xyI称为外积(outer product), XIV1 xy2· X1yn X2y1X2y2·· XyT∈Rmx"= X2yn Xm1Xm2· Xmyn 6/81

2.1.2. 矩阵乘法 ▶ 设 A ∈ R m×n , B ∈ R n×p , C = AB ∈ R m×p , where Cij = Xn k=1 aikbkj ▶ 给定 x, y ∈ R n , x Ty 称为内积(inner product or dot product), x T y ∈ R = Xn i=1 xiyi . ▶ 给定 x ∈ R m , y ∈ R n , xyT 称为外积(outer product). xyT ∈ R m×n =      x1y1 x1y2 · · · x1yn x2y1 x2y2 · · · x2yn . . . . . . . . . . . . xmy1 xmy2 · · · xmyn      6 / 81

给定矩阵A∈Rmxm和向量x∈R",y=Ax∈Rm,可以 从两个视角来看这个乘法。 ①将y看成是A行向量与列向量x的内积（单个向量 形式) a y= X= 2将y看成是A列向量的线性组合（多个向量相加形式） X1 X2 y=a1,a2,·,an =a1x1+a2x2+…·+anxm- Xn 7/81

▶ 给定矩阵 A ∈ R m×n 和向量 x ∈ R n , y = Ax ∈ R m , 可以 从两个视角来看这个乘法。 1 将 y 看成是 A 行向量与列向量 x 的内积(单个向量 形式) y =      a1 T a2 T . . . am T      x =      a1 Tx a2 Tx . . . am Tx      2 将 y 看成是 A 列向量的线性组合(多个向量相加形式) y = [a1, a2, · · · , an]      x1 x2 . . . xn      = a1x1 + a2x2 + · · · + anxn. 7 / 81

同理，左乘行向量，yT=xTA∈R”,A∈Rmx”,X∈Rm,有两 种方式表达。 ①x与A的列向量的内积（单个向量形式） y=x[a1,a2,…,al=[x'a1,xa2,…,xan] 2或者A的行向量的线性组合（多个向量相加形式） a17 y=x1,x2,…,m =x1a1+x2a2+·+xmam 8/81

▶ 同理，左乘行向量, y T = x TA ∈ R n , A ∈ R m×n , x ∈ R m , 有两 种方式表达。 1 x T 与 A 的列向量的内积 (单个向量形式) y T = x T [a1, a2, · · · , an] = x T a1, x T a2, · · · , x T an 2 或者 A 的行向量的线性组合 (多个向量相加形式) y T = [x1, x2, · · · , xm]      a1 T a2 T . . . am T      = x1a1 T+x2a2 T+· · ·+xmam T 8 / 81

类似，C=AB,有内积、外积，行、列组合等表达形式。 ①内积（单个矩阵形式） a1Tbi aTb2 a1bp a2b1 a2b2 a2 bp C= [b1,b2,…,bnl= …amTbp 2外积（多个矩阵相加形式） b: C=[a,a2,…,an i=1 9/81

▶ 类似，C = AB, 有内积、外积，行、列组合等表达形式。 1 内积 (单个矩阵形式) C =      a1 T a2 T . . . am T      [b1, b2, · · · , bp] =      a1 Tb1 a1 Tb2 · · · a1 Tbp a2 Tb1 a2 Tb2 · · · a2 Tbp . . . . . . . . . . . . am Tb1 am Tb2 · · · am Tbp      2 外积 (多个矩阵相加形式) C = [a1, a2, · · · , an]      b1 T b2 T . . . bn T      = Xn i=1 aibi T . 9 / 81