Direkte preferanseoptimalisering
Direkte preferanseoptimalisering (DPO) er en treningsmetode introdusert av Rafailov et al. i 2023 som tilpasser språkmodeller til menneskelige preferanser uten å kreve en eksplisitt belønningsmodell. Ved å direkte optimalisere for preferansepar (bedre svar vs. dårligere svar), forenkler DPO treningspipelinen sammenlignet med forsterkningslæring fra menneskelig tilbakemelding (RLHF).
Les hele metoden
Logg inn med en gratis konto for å lese denne delen.
Method map
The neighbourhood of related methods — select a node to explore.
Kilder
- Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. arXiv preprint arXiv:2305.18290. link ↗
Slik siterer du denne siden
ScholarGate. (2026, June 3). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. ScholarGate. https://scholargate.app/no/deep-learning/direct-preference-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Latente diffusjonsmodellerDyp læring↔ compare
- Mamba (tilstandsromsmodell)Dyp læring↔ compare
- Maskerte autoenkodereDyp læring↔ compare
- QLoRADyp læring↔ compare
Referert av
Funnet en feil på denne siden? Rapporter eller foreslå en rettelse →