Metodbevispost

Direct Preference Optimization

Direct Preference Optimization (DPO) is a training method introduced by Rafailov et al. in 2023 that aligns language models with human preferences without requiring an explicit reward model. By directly optimizing for preference pairs (better response vs worse response), DPO simplifies the training pipeline compared to reinforcement learning from human feedback (RLHF).

Sources recorded, not reviewed

Källpost

Citat kopierade ordagrant från metodens källpost. Ingen verifiering på källnivå härleds från dem.

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Taxonomisk metodpost · ml-model / deep-learning

Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. arXiv preprint arXiv:2305.18290. · URL

Öppna fullständig metod

Kuraterade påståenden

Påståenden lagrade i bevisloggen, var och en med sin egen bedömning.

Inga kuraterade påståenden ännu

Denna vy hittar inte på en påståendebedömning när loggen saknar en.

Relaterade metoder

Genererade från metodgrafen och visade som maskinföreslagna relationer – inga bevispåståenden härleds.

Same method familyLatent Diffusion Modelsmachine-suggested · Relational suggestion, not evidence.Same method familyMamba (State Space Model)machine-suggested · Relational suggestion, not evidence.Same method familyMasked Autoencodersmachine-suggested · Relational suggestion, not evidence.Same method familyQLoRAmachine-suggested · Relational suggestion, not evidence.