Пряма оптимізація вподобань
Пряма оптимізація вподобань (DPO) — це метод навчання, представлений Рафаїлом Рафаїловим та співавторами у 2023 році, який узгоджує мовні моделі з людськими вподобаннями без необхідності явного використання моделі винагороди. Безпосередньо оптимізуючи пари вподобань (краща відповідь проти гіршої відповіді), DPO спрощує конвеєр навчання порівняно з навчанням з підкріпленням на основі зворотного зв'язку від людини (RLHF).
Читати метод повністю
Увійдіть із безкоштовним обліковим записом, щоб прочитати цей розділ.
Method map
The neighbourhood of related methods — select a node to explore.
Джерела
- Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. arXiv preprint arXiv:2305.18290. link ↗
Як цитувати цю сторінку
ScholarGate. (2026, June 3). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. ScholarGate. https://scholargate.app/uk/deep-learning/direct-preference-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Моделі прихованої дифузіїГлибоке навчання↔ compare
- Mamba (модель на основі простору станів)Глибоке навчання↔ compare
- Масковані автокодувальникиГлибоке навчання↔ compare
- QLoRAГлибоке навчання↔ compare
Згадується в
Помітили помилку на цій сторінці? Повідомте про неї або запропонуйте виправлення →