Optymalizacja Bezpośrednich Preferencji
Optymalizacja Bezpośrednich Preferencji (DPO) to metoda treningowa wprowadzona przez Rafailova i wsp. w 2023 roku, która dostosowuje modele językowe do ludzkich preferencji bez potrzeby jawnego modelu nagrody. Poprzez bezpośrednią optymalizację par preferencji (lepsza odpowiedź vs gorsza odpowiedź), DPO upraszcza potok treningowy w porównaniu z uczeniem ze wzmocnieniem na podstawie informacji zwrotnej od ludzi (RLHF).
Przeczytaj pełny opis metody
Zaloguj się na bezpłatne konto, aby przeczytać tę sekcję.
Method map
The neighbourhood of related methods — select a node to explore.
Źródła
- Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. arXiv preprint arXiv:2305.18290. link ↗
Jak cytować tę stronę
ScholarGate. (2026, June 3). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. ScholarGate. https://scholargate.app/pl/deep-learning/direct-preference-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Modele dyfuzyjne w przestrzeni utajonejUczenie głębokie↔ compare
- Mamba (model przestrzeni stanów)Uczenie głębokie↔ compare
- Zamaskowane autoenkoderyUczenie głębokie↔ compare
- QLoRAUczenie głębokie↔ compare
Cytowana przez
Widzisz błąd na tej stronie? Zgłoś go lub zaproponuj poprawkę →