优化理论

• 1. 优化问题概述
  • 1.1. 优化中的对偶问题
    • 1.1.1. 约束优化的对偶问题
• 2. 无约束优化方法
• 3. 约束优化方法
  • 3.1. 约束优化方法概述
    • 3.1.1. 一般方法
  • 3.2. 对偶上升算法
    • 3.2.1. 概念与内涵
    • 3.2.2. 实验与分析
  • 3.3. KKT条件
    • 3.3.1. 概念与内涵
  • 3.4. 拉格朗日乘子法
    • 3.4.1. 概念与内涵
    • 3.4.2. 拉格朗日函数的对偶问题
    • 3.4.3. 约束优化与流形学习
    • 3.4.4. 实验与分析
  • 3.5. 增广拉格朗日法
    • 3.5.1. 概念与内涵
    • 3.5.2. 实验与分析
  • 3.6. 迭代收缩阈值类算法
    • 3.6.1. 概念与内涵
    • 3.6.2. ISTA
    • 3.6.3. FISTA
    • 3.6.4. 实例分析
  • 3.7. 交替方向乘子法
    • 3.7.1. ADMM原理
    • 3.7.2. Scale版ADMM原理
    • 3.7.3. 收敛性分析
    • 3.7.4. 最优条件与停止准则
    • 3.7.5. 实验与分析
  • 3.8. 近端算法
    • 3.8.1. 什么是近端算法
  • 3.9. 分裂增广拉格朗日收缩算法
    • 3.9.1. 变量分裂
    • 3.9.2. SALSA 与 C-SALSA
• 4. 微分方法
  • 4.1. 简介
  • 4.2. 数值微分法
  • 4.3. 符号微分法
  • 4.4. 自动微分法
• 5. 参考文献
• 6. 名词术语