Direkte Præferenceoptimering
Direkte Præferenceoptimering (DPO) er en træningsmetode introduceret af Rafailov et al. i 2023, der justerer sprogmodeller med menneskelige præferencer uden at kræve en eksplicit belønningsmodel. Ved direkte at optimere for præferencepar (bedre respons vs. dårligere respons) forenkler DPO træningspipelinen sammenlignet med forstærkningslæring fra menneskelig feedback (RLHF).
Læs hele metoden
Log ind med en gratis konto for at læse dette afsnit.
Method map
The neighbourhood of related methods — select a node to explore.
Kilder
- Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. arXiv preprint arXiv:2305.18290. link ↗
Sådan citerer du denne side
ScholarGate. (2026, June 3). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. ScholarGate. https://scholargate.app/da/deep-learning/direct-preference-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Latente diffusionsmodellerDyb læring↔ compare
- Mamba (State Space Model)Dyb læring↔ compare
- Maskerede AutoencodersDyb læring↔ compare
- QLoRADyb læring↔ compare
Refereret af
Har du fundet en fejl på denne side? Indberet den eller foreslå en rettelse →