Közvetlen preferenciaoptimalizálás
A Közvetlen preferenciaoptimalizálás (DPO) egy Rafailov és mtsai által 2023-ban bevezetett tréningmódszer, amely explicit jutalmazó modell nélkül igazítja a nyelvi modelleket az emberi preferenciákhoz. A preferenciapárok (jobb válasz vs. rosszabb válasz) közvetlen optimalizálásával a DPO leegyszerűsíti a tréningfolyamatot az emberi visszajelzésekből származó megerősítéses tanuláshoz (RLHF) képest.
A teljes módszer elolvasása
Jelentkezzen be ingyenes fiókkal a szakasz elolvasásához.
Method map
The neighbourhood of related methods — select a node to explore.
Források
- Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. arXiv preprint arXiv:2305.18290. link ↗
Hogyan hivatkozzon erre az oldalra
ScholarGate. (2026, June 3). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. ScholarGate. https://scholargate.app/hu/deep-learning/direct-preference-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Latens diffúziós modellekMélytanulás↔ compare
- Mamba (Állapot-tér modell)Mélytanulás↔ compare
- Maszkolt AutoenkóderekMélytanulás↔ compare
- QLoRAMélytanulás↔ compare
Hivatkozik rá
Hibát talált ezen az oldalon? Jelentse, vagy javasoljon javítást →