Мультимодальное обучение с подкреплением

Мультимодальное обучение с подкреплением (Multimodal Reinforcement Learning) обучает агентов принимать последовательные решения, одновременно воспринимая и интегрируя несколько входных модальностей — таких как необработанные пиксели, языковые инструкции, аудио и проприоцептивные датчики. Вместо того чтобы действовать на основе одного потока данных, агент объединяет гетерогенные сигналы в единое представление состояния и изучает политику посредством обратной связи по вознаграждению от среды.