3.4. 拉格朗日乘子法¶
3.4.1. 概念与内涵¶
在优化理论中, 拉格朗日乘子 (Lagrange Multiplier) 法是用于求解等式约束优化问题的局部极小极大问题. 其基本思想是将约束优化问题转化为无约束优化问题. 函数的不动点/稳定点(stationary point)也满足等式约束, 即函数在该不动点的梯度可以表示成约束在该点的梯度的线性组合, 从而原始问题可转化为拉格朗日函数形式 (Lagrangian Function).
Definition 3.1
易知 式.3.6 对 求导为
式.3.6 对 求导为
从而有
(3.7)¶
3.4.2. 拉格朗日函数的对偶问题¶
3.4.3. 约束优化与流形学习¶
寻找满足等式/不等式约束的极小极大问题, 可推广为寻找不同流形 上的最小值与最大值. 不一定是欧式空间, 也可以是黎曼空间.