Optimizācija ar tiešām izteiktām vēlmēm

Optimizācija ar tiešām izteiktām vēlmēm (Direct Preference Optimization, DPO) ir apmācības metode, ko 2023. gadā ieviesa Rafailovs et al. un kas saskaņo valodu modeļus ar cilvēku vēlmēm, neprasot skaidru atlīdzības modeli. Tieši optimizējot attiecībā uz vēlmju pāriem (labāka atbilde pret sliktāku atbildi), DPO vienkāršo apmācības procesu salīdzinājumā ar pastiprināšanas mācīšanos no cilvēku atsauksmēm (reinforcement learning from human feedback, RLHF).