Direct Preference Optimization
Direct Preference Optimization (DPO) is een trainingsmethode, geïntroduceerd door Rafailov et al. in 2023, die taalmodellen afstemt op menselijke voorkeuren zonder dat een expliciet beloningsmodel vereist is. Door direct te optimaliseren voor voorkeursparen (betere respons versus slechtere respons), vereenvoudigt DPO de trainingspijplijn in vergelijking met reinforcement learning from human feedback (RLHF).
Lees de volledige methode
Log in met een gratis account om dit onderdeel te lezen.
Method map
The neighbourhood of related methods — select a node to explore.
Bronnen
- Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. arXiv preprint arXiv:2305.18290. link ↗
Deze pagina citeren
ScholarGate. (2026, June 3). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. ScholarGate. https://scholargate.app/nl/deep-learning/direct-preference-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Latente DiffusiemodellenDeep learning↔ compare
- Mamba (State Space Model)Deep learning↔ compare
- Masked AutoencodersDeep learning↔ compare
- QLoRADeep learning↔ compare
Geciteerd door
Een fout op deze pagina gezien? Meld het of stel een correctie voor →