Priama optimalizácia preferencií
Priama optimalizácia preferencií (DPO) je tréningová metóda, ktorú v roku 2023 predstavili Rafailov et al. a ktorá zosúlaďuje jazykové modely s ľudskými preferenciami bez potreby explicitného modelu odmien. Priamou optimalizáciou párov preferencií (lepšia odpoveď verzus horšia odpoveď) DPO zjednodušuje tréningový proces v porovnaní s posilňovaným učením z ľudskej spätnej väzby (RLHF).
Prečítať celú metódu
Ak si chcete prečítať túto sekciu, prihláste sa s bezplatným účtom.
Method map
The neighbourhood of related methods — select a node to explore.
Zdroje
- Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. arXiv preprint arXiv:2305.18290. link ↗
Ako citovať túto stránku
ScholarGate. (2026, June 3). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. ScholarGate. https://scholargate.app/sk/deep-learning/direct-preference-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Latentné difúzne modelyHlboké učenie↔ compare
- Mamba (model stavového priestoru)Hlboké učenie↔ compare
- Maskované autoenkodéryHlboké učenie↔ compare
- QLoRAHlboké učenie↔ compare
Odkazujú sem
Našli ste na tejto stránke chybu? Nahláste ju alebo navrhnite opravu →