最优控制

最优控制确定控制输入，以在一段时间内优化动态系统的性能标准。

Definition

最优控制问题旨在寻找一个控制函数，使其在受状态微分方程约束的情况下最小化成本泛函；其解通过最大值原理的必要条件或动态规划的值函数来表征。

Scope

本主题涵盖了具有状态动力学和成本泛函的控制问题的公式化、庞特里亚金最大值原理和伴随方程、动态规划和哈密顿-雅可比-贝尔曼方程、线性二次调节器，以及与经典变分法的关系。

Core questions

• 什么控制律能使系统轨迹上的给定成本最小化？
• 最优控制必须满足哪些必要条件？
• 动态规划如何表征最优值函数？
• 最优控制如何将变分法扩展到受约束的输入？

Key theories

庞特里亚金最大值原理

最优控制在每个时刻最大化哈密顿量，伴随成本变量随时间逆向演化，即使控制受约束也能给出必要条件。

动态规划和HJB方程

贝尔曼最优性原理导出了值函数的哈密顿-雅可比-贝尔曼偏微分方程，其解产生了最优反馈控制。

线性二次调节器

对于线性动力学和二次成本，最优控制是由Riccati方程解确定的线性状态反馈，是控制工程的基石。

Clinical relevance

最优控制应用于飞机和航天器的制导、过程和机器人控制、经济和资源的时间规划，以及治疗调度模型，为在动态系统上进行最优操作提供了原则性的方法。

History

最优控制于20世纪50年代在航空航天问题的压力下从变分法中发展而来。庞特里亚金及其同事在1956-1962年间建立了最大值原理，贝尔曼同时发展了动态规划，而卡尔曼的线性二次和滤波理论使该学科成为现代工程的核心。

Key figures

• Lev Pontryagin
• Richard Bellman
• Rudolf Kalman
• Constantin Caratheodory

Seminal works

• pontryagin1962
• bertsekas2017
• liberzon2012

Frequently asked questions

最优控制与变分法有何关系？

变分法自由地优化曲线，而最优控制则优化动态系统的输入，通常对控制有约束。最大值原理将经典的欧拉-拉格朗日条件推广到这种受约束、系统驱动的环境中。

最大值原理和动态规划有什么区别？

最大值原理使用伴随变量沿着单一最优轨迹给出必要条件，而动态规划通过哈密顿-雅可比-贝尔曼方程表征每个状态的最优成本，从而产生反馈律。这两种观点是互补且相互关联的。