西安交通大学：《工程优化方法及其应用》研究生课程教学课件（PPT讲稿）02 工程优化的数学基础

第1章工程优化的数学基础五0口27最优化问题的基本术语1. 11.2凸集与凸函数1.3二次函数与恒定矩阵1.4多元函数的可导性及其表示方法1.5凸函数的微分性质1.6凸规划及其对偶规划1/58

1/58 第1章 工程优化的数学基础 1.1 最优化问题的基本术语 1.2 凸集与凸函数 1.3 二次函数与恒定矩阵 1.4 多元函数的可导性及其表示方法 1.5 凸函数的微分性质 1.6 凸规划及其对偶规划

1.1最优化问题的基本术语111000f(x)min无约束优化问题ooannXeRn约束优化问题f(xminc,(x)= 0,i = 1,2,...m.S.t.[c,(x)≥ 0,i = m+1,m+ 2,.., p.约束条件自变量取值范围的限制c,(x)= 0,i = 1,2,...m.[c;(x)≥ 0,i = m+1,m+ 2,.., p.2/58

2/58 1.1 最优化问题的基本术语 无约束优化问题 f (x) n xR min 约束优化问题 min f (x) ( )  ( )    = + + = = 0, 1, 2, , . 0, 1,2, . . . c x i m m p c x i m s t i i   约束条件 自变量取值范围的限制 ( )  ( )    = + + = = 0, 1, 2, , . 0, 1,2, . c x i m m p c x i m i i  

最优化问题的基本术语ODO可行解满足约束条件的x称为内点0可行解，也称为可行点或容许点。若存在等式约束，则可行点均为边界点边界点可行域：全体可行解构成的集外点合称为可行域，也称为容许集，记为S,即：S ={xc,(x)= 0,i = 1,2,...m, c,(x)≥0,i= m+1,.., p,x e R"3/58

3/58 { ( ) 0, 1,2, , ( ) 0, 1, , , } n S = x ci x = i = m ci x  i = m +  p x  R 可行解:满足约束条件的x称为 可行解，也称为可行点或容许 点。 可行域:全体可行解构成的集 合称为可行域，也称为容许 集，记为S,即： S 外点 内点 边界点 若存在等式约束，则可行点均 为边界点. 最优化问题的基本术语

最优化问题的基本术语niob0i1o全局最优解（GlobalOptimum）iooann10012若x*εS,对于一切 x E S 恒有f(x)≤ f(x),则称x*为最优化问题的全局最优解若xeS,x≠x*，恒有f(x*)< (x),则称x为最优化问题的严格全局最优解4/58

4/58 全局最优解（Global Optimum） x  S * 若x S  , 对于一切 则称 ( ) ( ), * f x  f x 恒有 * x 为最优化问题的全局最优解。 若 , , * x  S x  x 恒有 ( ) ( ), * f x  f x 则称 * x 为最优化问题的严格全局最优解。 最优化问题的基本术语

最优化问题的基本术语1100局部最优解（LocalOptimumsooaon100120若x*ES，存在x*I的某邻域 N。(x*),使得对于一切xeSnN,(x*)恒有(x*)≤ f(x)则称x＊为最优化问题的局部最优解其中N。(x)= (xx-x*0}同样可定义：严格局部最优解5/58

5/58 局部最优解（Local Optimum ） * * 若x  S，存在x 的某邻域 ( ), * N x 使得对于一切 ( ) * x S N x    恒有 f (x )  f ( x) * 则称 * x 为最优化问题的局部最优解. ( )  , 0. * * 其 中N x = x x − x     同样可定义：严格局部最优解。 最优化问题的基本术语

最优化问题的基本术语ib0o注意：ooa10(1)全局最优解一定是局部最优解；(2)局部最优解不一定是整体最优解，11严格l.opt.严格g.opt..opt.6/58

6/58 (2)局部最优解不一定是整体最优解。 (1)全局最优解一定是局部最优解； 注意： 严格l .opt . 严格g .opt . l .opt . 最优化问题的基本术语

最优化问题的基本术语GlobalOptimumv.s.LocalOptimumFind1=D2263.10258O7158

7/58 Global Optimum v.s. Local Optimum 最优化问题的基本术语

最优化问题的基本术语ib0o10012500023080iooao求解最优化问题，实际上是求可行域S上的全局最优解。1但是，在一般情况下，-整体最优解是很难求出的，最优化中的大多数方法是求局部最优解8/58

8/58 求解最优化问题，实际上是求可行域 S上的全局最优解。但是，在一般情况下， 整体最优解是很难求出的，最优化中的大多 数方法是求局部最优解。 最优化问题的基本术语

最优化问题的基本术语iobdio迭代算法（IterativeAlgorithm）00喜保选取一个初始可行点xoES，由这个初始可行点出发，依次产生一个可行点列：x1,x2，，Xk，记为(xk)，使得xk恰好是问题的一个最优解，或者该点列(xk收敛到问题的一个最优解。下降算法（DescentAlgorithm在迭代算法中一般要求：f(x+1)≤ f(xk)9/58

9/58 迭代算法（Iterative Algorithm） 在迭代算法中一般要求： ( ) ( ) k k f x  f x +1 下降算法（Descent Algorithm） 选取一个初始可行点𝒙𝟎 ∈ 𝑺，由这个初始可行点 出发，依次产生一个可行点列：𝒙𝟏, 𝒙𝟐, ⋯ , 𝒙𝒌, ⋯, 记为{𝒙𝒌}，使得𝒙𝒌恰好是问题的一个最优解，或 者该点列{𝒙𝒌}收敛到问题的一个最优解。 最优化问题的基本术语

最优化问题的基本术语lioboio下降方向（DescentDirection）10011ooann在点xk处,对于方向Pk≠0,若存在实数α>0,使得任意的α (o,α),有f(x + apk)< f(xk)成立，则称p为函数f(x）在点x的一个下降方向10/58

10/58 在点xk处，  0, 对于方向 pk 若存在实数  0, 使得任意的  (0, ),有 ( ) ( ) k k xk f x + p  f 成立， 则 称pk为函数f ( x)在 点xk的一个 下降方向。 下降方向（Descent Direction） 最优化问题的基本术语