Директна оптимизация на предпочитанията

Директната оптимизация на предпочитанията (Direct Preference Optimization, DPO) е метод за обучение, въведен от Rafailov et al. през 2023 г., който привежда езиковите модели в съответствие с човешките предпочитания, без да изисква изричен модел на наградата. Чрез директна оптимизация на двойки предпочитания (по-добър отговор спрямо по-лош отговор), DPO опростява конвейера за обучение в сравнение с обучението с подсилване от човешка обратна връзка (reinforcement learning from human feedback, RLHF).