Прямая оптимизация предпочтений

Прямая оптимизация предпочтений (DPO) — это метод обучения, представленный Рафаилом и др. в 2023 году, который согласовывает языковые модели с человеческими предпочтениями без явной модели вознаграждения. Путем прямой оптимизации пар предпочтений (лучший ответ против худшего ответа) DPO упрощает конвейер обучения по сравнению с обучением с подкреплением на основе обратной связи от человека (RLHF).