Évaluation des systèmes de recommandation

L'évaluation des systèmes de recommandation mesure la qualité des recommandations, englobant la précision prédictive, la qualité du classement, et des propriétés allant au-delà de la simple précision, telles que la diversité, la nouveauté et la couverture.

Definition

L'évaluation des systèmes de recommandation est l'ensemble des méthodologies et des métriques permettant d'évaluer la qualité d'un système de recommandation, incluant les mesures de précision et de classement hors ligne calculées sur des données mises de côté, les propriétés allant au-delà de la précision de l'ensemble des recommandations, ainsi que les expériences centrées sur l'utilisateur et les expériences en ligne.

Scope

Ce sujet aborde la manière dont les systèmes de recommandation sont évalués : les expériences hors ligne utilisant des données d'interaction mises de côté, les mesures de précision pour la prédiction de notes et pour le classement top-N, ainsi que des critères allant au-delà de la précision, incluant la diversité, la nouveauté, la sérendipité et la couverture du catalogue, de même que les études utilisateurs et les expériences en ligne. Il aborde les écueils de la conception expérimentale spécifiques à la recommandation, tels que la division des données (data splitting) et le biais de popularité, et se connecte aux méthodes d'évaluation en ligne plus larges utilisées dans l'accès à l'information.

Core questions

• Comment la qualité de la recommandation est-elle mesurée pour la prédiction de notes par rapport au classement top-N ?
• Pourquoi les métriques de précision seules sont-elles insuffisantes pour juger un système de recommandation ?
• Comment la diversité, la nouveauté, la sérendipité et la couverture sont-elles quantifiées ?
• Comment les données d'interaction devraient-elles être divisées pour éviter les fuites d'information (leakage) et le biais de popularité ?
• Comment les évaluations hors ligne, les études utilisateurs et les évaluations en ligne se complètent-elles ?

Key concepts

• précision de la prédiction de notes (MAE, RMSE)
• métriques de classement top-N (précision, rappel, nDCG)
• diversité et nouveauté
• sérendipité
• couverture du catalogue
• évaluation hors ligne vs. en ligne
• division des données (data splitting) et fuite d'information (leakage)
• biais de popularité

Key theories

Évaluation de la précision et du classement

Les systèmes de recommandation sont évalués soit sur leur capacité à prédire les notes, en utilisant des mesures d'erreur, soit sur leur capacité à classer les éléments, en utilisant des mesures top-N telles que la précision, le rappel et le gain cumulatif actualisé normalisé (nDCG), cette dernière s'alignant mieux avec la manière dont les recommandations sont consommées.

Évaluation au-delà de la précision

Étant donné que des recommandations précises mais redondantes ou évidentes peuvent ne pas satisfaire les utilisateurs, l'évaluation prend également en compte la diversité, la nouveauté, la sérendipité et la couverture, reconnaissant que la qualité de la recommandation est multidimensionnelle.

Clinical relevance

Une évaluation rigoureuse détermine quelles modifications de recommandation sont déployées et prémunit contre l'optimisation d'un objectif inapproprié. Les préoccupations allant au-delà de la précision, telles que la diversité et la nouveauté, affectent directement la satisfaction et l'engagement des utilisateurs, et sont liées à des questions plus larges de bulles de filtre et d'équité dans la recommandation.

History

L'article de Herlocker et ses collègues en 2004 a établi un cadre rigoureux pour l'évaluation des systèmes de recommandation par filtrage collaboratif, clarifiant les tâches et les métriques. Le prix Netflix a popularisé l'évaluation de la précision basée sur le RMSE, après quoi le domaine s'est élargi vers le classement et les mesures allant au-delà de la précision, consolidées dans des chapitres de manuels qui soulignent l'importance d'adapter l'évaluation à la tâche utilisateur visée.

Key figures

• Jonathan Herlocker
• Joseph Konstan
• Guy Shani
• Asela Gunawardana

Seminal works

• herlocker2004
• shani2011
• ricci2015

Frequently asked questions

Pourquoi la précision n'est-elle pas suffisante pour évaluer un système de recommandation ?

Un système de recommandation peut être précis mais peu utile, par exemple en suggérant des éléments que l'utilisateur connaît déjà ou des quasi-doublons. Des propriétés telles que la diversité, la nouveauté, la sérendipité et la couverture saisissent des aspects de l'utilité que la précision ne prend pas en compte, une bonne évaluation prend donc en considération de multiples dimensions.

Pourquoi la division des données est-elle délicate dans l'évaluation des systèmes de recommandation ?

Les données de recommandation sont ordonnées dans le temps et biaisées vers les éléments populaires, de sorte que des divisions aléatoires naïves peuvent entraîner des fuites d'informations futures ou récompenser la simple recommandation d'éléments populaires. Des divisions temporelles prudentes et des métriques tenant compte des biais sont nécessaires pour que les résultats hors ligne soient prédictifs des performances réelles.