Zapis dowodowy metody

Direct Preference Optimization

Direct Preference Optimization (DPO) is a training method introduced by Rafailov et al. in 2023 that aligns language models with human preferences without requiring an explicit reward model. By directly optimizing for preference pairs (better response vs worse response), DPO simplifies the training pipeline compared to reinforcement learning from human feedback (RLHF).

Sources recorded, not reviewed

Zapis źródłowy

Cytaty skopiowane dosłownie z zapisu źródłowego metody. Nie należy z nich wywnioskować weryfikacji na poziomie twierdzenia.

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Taksonomiczny zapis metody · ml-model / deep-learning

Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. arXiv preprint arXiv:2305.18290. · URL

Otwórz pełną metodę

Wyselekcjonowane twierdzenia

Twierdzenia utrwalone w rejestrze dowodowym, każde z własną oceną.

Brak wyselekcjonowanych twierdzeń

Ten widok nie tworzy oceny twierdzenia, jeśli rejestr jej nie zawiera.

Powiązane metody

Wygenerowane z grafu metod i pokazane jako sugerowane przez maszynę powiązania — nie należy z nich wywnioskować twierdzenia dowodowego.

Same method familyLatent Diffusion Modelsmachine-suggested · Relational suggestion, not evidence.Same method familyMamba (State Space Model)machine-suggested · Relational suggestion, not evidence.Same method familyMasked Autoencodersmachine-suggested · Relational suggestion, not evidence.Same method familyQLoRAmachine-suggested · Relational suggestion, not evidence.