Direkte Präferenzoptimierung
Direct Preference Optimization (DPO) ist eine Trainingsmethode, die von Rafailov et al. im Jahr 2023 eingeführt wurde und Sprachmodelle an menschliche Präferenzen anpasst, ohne ein explizites Belohnungsmodell zu benötigen. Durch die direkte Optimierung von Präferenzpaaren (bessere Antwort vs. schlechtere Antwort) vereinfacht DPO die Trainingspipeline im Vergleich zu Reinforcement Learning from Human Feedback (RLHF).
Die vollständige Methode lesen
Melden Sie sich mit einem kostenlosen Konto an, um diesen Abschnitt zu lesen.
Method map
The neighbourhood of related methods — select a node to explore.
Quellen
- Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. arXiv preprint arXiv:2305.18290. link ↗
So zitieren Sie diese Seite
ScholarGate. (2026, June 3). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. ScholarGate. https://scholargate.app/de/deep-learning/direct-preference-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Latent Diffusion ModelsDeep Learning↔ compare
- Mamba (State Space Model)Deep Learning↔ compare
- Masked AutoencodersDeep Learning↔ compare
- QLoRADeep Learning↔ compare
Referenziert von
Einen Fehler auf dieser Seite entdeckt? Melden oder Korrektur vorschlagen →