Izravno optimiziranje preferencija
Izravno optimiziranje preferencija (DPO) je metoda treniranja koju su Rafailov i suradnici uveli 2023. godine, a koja usklađuje jezične modele s ljudskim preferencijama bez potrebe za eksplicitnim modelom nagrade. Izravnim optimiziranjem parova preferencija (bolji odgovor u usporedbi s lošijim odgovorom), DPO pojednostavljuje proces treniranja u usporedbi s pojačanim učenjem iz povratnih informacija ljudi (RLHF).
Pročitajte cijelu metodu
Prijavite se besplatnim računom kako biste pročitali ovaj odjeljak.
Method map
The neighbourhood of related methods — select a node to explore.
Izvori
- Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. arXiv preprint arXiv:2305.18290. link ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 3). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. ScholarGate. https://scholargate.app/hr/deep-learning/direct-preference-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Latent Diffusion ModelsDuboko učenje↔ compare
- Mamba (model prostora stanja)Duboko učenje↔ compare
- Masked AutoencodersDuboko učenje↔ compare
- QLoRADuboko učenje↔ compare
Citirana u
Uočili ste pogrešku na ovoj stranici? Prijavite je ili predložite ispravak →