Contrôle optimal

Le contrôle optimal détermine les entrées de commande qui dirigent un système dynamique afin d'optimiser un critère de performance au fil du temps.

Definition

Un problème de contrôle optimal vise à trouver une fonction de commande qui minimise une fonctionnelle de coût soumise à des équations différentielles régissant l'état ; sa solution est caractérisée par des conditions nécessaires issues du principe du maximum ou par la fonction de valeur de la programmation dynamique.

Scope

Ce sujet couvre la formulation des problèmes de contrôle avec des dynamiques d'état et des fonctionnelles de coût, le principe du maximum de Pontryagin et les équations adjointes, la programmation dynamique et l'équation de Hamilton-Jacobi-Bellman, le régulateur linéaire-quadratique, ainsi que la relation avec le calcul des variations classique.

Core questions

• Quelle loi de commande minimise un coût donné sur la trajectoire du système ?
• Quelles conditions nécessaires un contrôle optimal doit-il satisfaire ?
• Comment la programmation dynamique caractérise-t-elle la fonction de valeur optimale ?
• Comment le contrôle optimal étend-il le calcul des variations aux entrées contraintes ?

Key theories

Principe du maximum de Pontryagin

Un contrôle optimal maximise un hamiltonien à chaque instant, avec une variable d'état adjointe évoluant à rebours dans le temps, fournissant des conditions nécessaires même lorsque les commandes sont contraintes.

Programmation dynamique et l'équation de HJB

Le principe d'optimalité de Bellman conduit à l'équation aux dérivées partielles de Hamilton-Jacobi-Bellman pour la fonction de valeur, dont la solution fournit la commande optimale en boucle fermée (feedback).

Régulateur linéaire-quadratique

Pour les dynamiques linéaires et un coût quadratique, le contrôle optimal est une rétroaction d'état linéaire déterminée par la solution d'une équation de Riccati, une pierre angulaire de l'ingénierie de contrôle.

Clinical relevance

Le contrôle optimal régit le guidage des aéronefs et des engins spatiaux, le contrôle de processus et de robotique, la planification économique et des ressources au fil du temps, ainsi que les modèles de planification de traitement, offrant une approche structurée pour agir de manière optimale sur un système dynamique.

History

Le contrôle optimal a émergé dans les années 1950 du calcul des variations sous la pression des problèmes aérospatiaux. Pontryagin et ses collaborateurs ont établi le principe du maximum vers 1956-1962, Bellman a développé la programmation dynamique en parallèle, et la théorie linéaire-quadratique et de filtrage de Kalman a rendu le sujet central pour l'ingénierie moderne.

Key figures

• Lev Pontryagin
• Richard Bellman
• Rudolf Kalman
• Constantin Caratheodory

Seminal works

• pontryagin1962
• bertsekas2017
• liberzon2012

Frequently asked questions

Comment le contrôle optimal est-il lié au calcul des variations ?

Le calcul des variations optimise librement sur des courbes, tandis que le contrôle optimal optimise les entrées d'un système dynamique, souvent avec des contraintes sur les commandes. Le principe du maximum généralise les conditions classiques d'Euler-Lagrange à ce cadre contraint et piloté par le système.

Quelle est la différence entre le principe du maximum et la programmation dynamique ?

Le principe du maximum fournit des conditions nécessaires le long d'une seule trajectoire optimale en utilisant une variable adjointe, tandis que la programmation dynamique caractérise le coût optimal à partir de chaque état via l'équation de Hamilton-Jacobi-Bellman, produisant une loi de rétroaction (feedback). Les deux approches sont complémentaires et interconnectées.