Оптимальное управление

Оптимальное управление определяет управляющие воздействия, которые направляют динамическую систему таким образом, чтобы оптимизировать критерий производительности во времени.

Definition

Задача оптимального управления ищет функцию управления, которая минимизирует функционал затрат при условии дифференциальных уравнений, управляющих состоянием; ее решение характеризуется необходимыми условиями из принципа максимума или функцией ценности динамического программирования.

Scope

Эта тема охватывает формулировку задач управления с динамикой состояния и функционалами затрат, принцип максимума Понтрягина и сопряженные уравнения, динамическое программирование и уравнение Гамильтона-Якоби-Беллмана, линейно-квадратичный регулятор и связь с классическим вариационным исчислением.

Core questions

• Какой закон управления минимизирует заданную стоимость на траектории системы?
• Какие необходимые условия должно удовлетворять оптимальное управление?
• Как динамическое программирование характеризует функцию оптимальной ценности?
• Как оптимальное управление расширяет вариационное исчисление на ограниченные входные данные?

Key theories

Принцип максимума Понтрягина

Оптимальное управление максимизирует гамильтониан в каждый момент времени, при этом сопряженная переменная состояния эволюционирует назад во времени, что дает необходимые условия даже при наличии ограничений на управление.

Динамическое программирование и уравнение Гамильтона-Якоби-Беллмана

Принцип оптимальности Беллмана приводит к дифференциальному уравнению в частных производных Гамильтона-Якоби-Беллмана для функции ценности, решение которого дает оптимальное управление с обратной связью.

Линейно-квадратичный регулятор

Для линейной динамики и квадратичной стоимости оптимальное управление представляет собой линейную обратную связь по состоянию, определяемую решением уравнения Риккати, что является краеугольным камнем теории управления.

Clinical relevance

Оптимальное управление регулирует наведение самолетов и космических аппаратов, управление процессами и робототехникой, экономическое и ресурсное планирование во времени, а также модели планирования лечения, обеспечивая принципиальный способ оптимального воздействия на динамическую систему.

History

Оптимальное управление возникло в 1950-х годах из вариационного исчисления под давлением аэрокосмических проблем. Понтрягин и его сотрудники установили принцип максимума примерно в 1956–1962 годах, Беллман параллельно разработал динамическое программирование, а линейно-квадратичная теория и теория фильтрации Калмана сделали эту область центральной для современной инженерии.

Key figures

• Lev Pontryagin
• Richard Bellman
• Rudolf Kalman
• Constantin Caratheodory

Seminal works

• pontryagin1962
• bertsekas2017
• liberzon2012

Frequently asked questions

Как оптимальное управление связано с вариационным исчислением?

Вариационное исчисление оптимизирует кривые свободно, в то время как оптимальное управление оптимизирует входные данные динамической системы, часто с ограничениями на управление. Принцип максимума обобщает классические условия Эйлера-Лагранжа на эту ограниченную, управляемую системой среду.

В чем разница между принципом максимума и динамическим программированием?

Принцип максимума дает необходимые условия вдоль одной оптимальной траектории с использованием сопряженной переменной, тогда как динамическое программирование характеризует оптимальную стоимость из каждого состояния через уравнение Гамильтона-Якоби-Беллмана, давая закон обратной связи. Эти две точки зрения дополняют друг друга и взаимосвязаны.