Evaluación de Recomendadores

La evaluación de recomendadores mide la calidad de las recomendaciones, abarcando la precisión predictiva, la calidad de la clasificación y propiedades más allá de la precisión, como la diversidad, la novedad y la cobertura.

Definition

La evaluación de recomendadores es el conjunto de metodologías y métricas para evaluar la calidad de un sistema de recomendación, incluyendo medidas de precisión y clasificación fuera de línea calculadas sobre datos retenidos, propiedades más allá de la precisión del conjunto de recomendaciones, y experimentos centrados en el usuario y en línea.

Scope

Este tema cubre cómo se evalúan los sistemas de recomendación: experimentos fuera de línea utilizando datos de interacción retenidos, medidas de precisión para la predicción de calificaciones y para la clasificación top-N, y criterios más allá de la precisión, incluyendo diversidad, novedad, serendipia y cobertura del catálogo, así como estudios de usuarios y experimentos en línea. Aborda las trampas del diseño experimental específicas de la recomendación, como la división de datos y el sesgo de popularidad, y se conecta con los métodos de evaluación en línea más amplios utilizados en el acceso a la información.

Core questions

• ¿Cómo se mide la calidad de la recomendación para la predicción de calificaciones versus la clasificación top-N?
• ¿Por qué las métricas de precisión por sí solas son insuficientes para juzgar un recomendador?
• ¿Cómo se cuantifican la diversidad, la novedad, la serendipia y la cobertura?
• ¿Cómo deben dividirse los datos de interacción para evitar fugas y sesgos de popularidad?
• ¿Cómo se complementan las evaluaciones fuera de línea, los estudios de usuarios y las evaluaciones en línea?

Key concepts

• precisión de la predicción de calificaciones (MAE, RMSE)
• métricas de clasificación top-N (precisión, recall, nDCG)
• diversidad y novedad
• serendipia
• cobertura del catálogo
• evaluación fuera de línea vs. en línea
• división de datos y fuga
• sesgo de popularidad

Key theories

Evaluación de precisión y clasificación

Los recomendadores se puntúan en función de lo bien que predicen las calificaciones, utilizando medidas de error, o de lo bien que clasifican los elementos, utilizando medidas top-N como la precisión, el recall y la ganancia acumulativa descontada normalizada, esta última se alinea mejor con la forma en que se consumen las recomendaciones.

Evaluación más allá de la precisión

Debido a que las recomendaciones precisas pero redundantes u obvias pueden no satisfacer a los usuarios, la evaluación también considera la diversidad, la novedad, la serendipia y la cobertura, reconociendo que la calidad de la recomendación es multidimensional.

Clinical relevance

Una evaluación sólida determina qué cambios en las recomendaciones se implementan y protege contra la optimización de un objetivo incorrecto. Las preocupaciones más allá de la precisión, como la diversidad y la novedad, afectan directamente la satisfacción y el compromiso del usuario, y se conectan con problemas más amplios de burbujas de filtro y equidad en la recomendación.

History

El artículo de Herlocker y sus colegas de 2004 estableció un marco riguroso para evaluar los recomendadores de filtrado colaborativo, clarificando tareas y métricas. El Netflix Prize popularizó la evaluación de la precisión basada en RMSE, después de lo cual el campo se amplió hacia la clasificación y las medidas más allá de la precisión, consolidadas en capítulos de manuales que enfatizan la adecuación de la evaluación a la tarea del usuario prevista.

Key figures

• Jonathan Herlocker
• Joseph Konstan
• Guy Shani
• Asela Gunawardana

Seminal works

• herlocker2004
• shani2011
• ricci2015

Frequently asked questions

¿Por qué la precisión no es suficiente para evaluar un recomendador?

Un recomendador puede ser preciso pero inútil, por ejemplo, al sugerir elementos que el usuario ya conoce o casi duplicados. Propiedades como la diversidad, la novedad, la serendipia y la cobertura capturan aspectos de utilidad que la precisión no abarca, por lo que una buena evaluación considera múltiples dimensiones.

¿Por qué la división de datos es complicada en la evaluación de recomendadores?

Los datos de recomendación están ordenados por tiempo y sesgados hacia elementos populares, por lo que las divisiones aleatorias ingenuas pueden filtrar información futura o recompensar simplemente la recomendación de elementos populares. Se necesitan divisiones cuidadosas basadas en el tiempo y métricas conscientes del sesgo para que los resultados fuera de línea sean predictivos del rendimiento real.