Înregistrare dovezi metodologice

Direct Preference Optimization

Direct Preference Optimization (DPO) is a training method introduced by Rafailov et al. in 2023 that aligns language models with human preferences without requiring an explicit reward model. By directly optimizing for preference pairs (better response vs worse response), DPO simplifies the training pipeline compared to reinforcement learning from human feedback (RLHF).

Sources recorded, not reviewed

Înregistrare sursă

Citările sunt copiate integral din înregistrarea sursă a metodei. Nu se inferă nicio verificare la nivel de afirmație din acestea.

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Înregistrare metodologică taxonomică · ml-model / deep-learning

Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. arXiv preprint arXiv:2305.18290. · URL

Deschide metoda completă

Afirmații curate

Afirmațiile sunt stocate în registrul dovezilor, fiecare cu propria evaluare.

Încă nu există afirmații curate

Această vizualizare nu inventează o evaluare a afirmației dacă registrul nu conține una.

Metode conexe

Generate din graful metodelor și afișate ca relații sugerate automat — nu se inferă nicio afirmație de dovadă.

Same method familyLatent Diffusion Modelsmachine-suggested · Relational suggestion, not evidence.Same method familyMamba (State Space Model)machine-suggested · Relational suggestion, not evidence.Same method familyMasked Autoencodersmachine-suggested · Relational suggestion, not evidence.Same method familyQLoRAmachine-suggested · Relational suggestion, not evidence.