Состязательное обучение

Состязательное обучение (Adversarial Training) — это процедура робастной оптимизации для глубоких нейронных сетей, при которой модель обучается не только на чистых данных, но и на специально сконструированных в процессе обучения возмущенных входных данных, представляющих наихудший случай. Формализованный Мэдри и соавт. (Madry et al., 2018) как задача поиска седловой точки типа «минимум-максимум», этот метод использует проекционный градиентный спуск (Projected Gradient Descent, PGD) для генерации сильных состязательных примеров в пределах ограниченного Lp-множества возмущений перед каждым обновлением градиента, заставляя сеть изучать границы принятия решений, которые стабильны к таким возмущениям.