Machine learningDeep Learning, Language Models, RLHF Alternatives
直接選好最適化
直接選好最適化（DPO）は、Rafailovらによって2023年に導入された、明示的な報酬モデルを必要とせずに言語モデルを人間の選好に適合させる訓練手法である。選好ペア（より良い応答 vs より悪い応答）を直接最適化することにより、DPOは人間のフィードバックからの強化学習（RLHF）と比較して訓練パイプラインを簡略化する。
手法の全文を読む
会員限定
ログイン無料アカウントでログインすると、このセクションを読めます。
Method map
The neighbourhood of related methods — select a node to explore.
出典
- Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. arXiv preprint arXiv:2305.18290. link ↗
このページの引用方法
ScholarGate. (2026, June 3). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. ScholarGate. https://scholargate.app/ja/deep-learning/direct-preference-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
Compare side by side →