Direkt preferensoptimering
Direkt preferensoptimering (DPO) är en träningsmetod som introducerades av Rafailov et al. 2023, vilken anpassar språkmodeller till mänskliga preferenser utan att kräva en explicit belöningsmodell. Genom att direkt optimera för preferenspar (bättre svar kontra sämre svar) förenklar DPO träningsprocessen jämfört med förstärkningsinlärning från mänsklig feedback (RLHF).
Läs hela metoden
Logga in med ett kostnadsfritt konto för att läsa avsnittet.
Method map
The neighbourhood of related methods — select a node to explore.
Källor
- Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. arXiv preprint arXiv:2305.18290. link ↗
Så citerar du den här sidan
ScholarGate. (2026, June 3). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. ScholarGate. https://scholargate.app/sv/deep-learning/direct-preference-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Latent Diffusion ModelsDjupinlärning↔ compare
- Mamba (tillståndsrumsmodell)Djupinlärning↔ compare
- Maskerade autoenkodrarDjupinlärning↔ compare
- QLoRADjupinlärning↔ compare
Refereras av
Hittade du ett fel på sidan? Rapportera eller föreslå en rättelse →