Optimización Directa de Preferencias

La Optimización Directa de Preferencias (DPO, por sus siglas en inglés) es un método de entrenamiento introducido por Rafailov et al. en 2023 que alinea los modelos de lenguaje con las preferencias humanas sin requerir un modelo de recompensa explícito. Al optimizar directamente para pares de preferencias (respuesta mejor vs. respuesta peor), DPO simplifica el flujo de entrenamiento en comparación con el aprendizaje por refuerzo a partir de retroalimentación humana (RLHF).