Apprentissage du classement

L'apprentissage du classement applique l'apprentissage automatique pour construire des fonctions de classement qui combinent de nombreuses caractéristiques, en s'entraînant sur des données de pertinence étiquetées ou des retours d'utilisateurs afin d'ordonner les documents mieux qu'une formule unique ajustée manuellement.

Definition

L'apprentissage du classement est l'utilisation de méthodes d'apprentissage automatique pour induire une fonction qui ordonne un ensemble de documents pour une requête par pertinence, entraînée à partir d'exemples où la pertinence relative ou absolue des documents est connue, formulée comme une régression ou classification par point (pointwise), un apprentissage des préférences par paire (pairwise), ou une optimisation directe par liste (listwise).

Scope

Ce sujet couvre les approches supervisées et basées sur le retour d'information pour l'apprentissage des fonctions de classement en vue de la récupération d'informations. Il aborde les formulations par point (pointwise), par paire (pairwise) et par liste (listwise), l'utilisation d'étiquettes de pertinence et de données de clics (clickthrough), des méthodes représentatives telles que RankNet et les arbres de classement à gradient boosting, ainsi que l'optimisation des métriques basées sur le rang. Il traite de la manière dont un classificateur est appris et évalué en tant que modèle, tandis que l'assemblage des caractéristiques et le pipeline de service plus large sont couverts dans le cadre du classement de la recherche web.

Core questions

• Comment les problèmes de classement sont-ils formulés comme un apprentissage par point, par paire ou par liste ?
• Quels signaux d'entraînement, tels que les étiquettes de pertinence ou les données de clics, dirigent l'apprentissage ?
• Comment les métriques d'évaluation basées sur le rang, qui sont non différentiables, peuvent-elles être optimisées ?
• Comment de nombreuses caractéristiques hétérogènes sont-elles combinées en un seul classificateur appris ?
• Comment les données de clics introduisent-elles un biais, et comment peut-il être traité ?

Key concepts

• fonction de classement
• apprentissage par point / par paire / par liste
• étiquettes de pertinence et pertinence graduée
• clics (clickthrough) et retour d'information implicite
• RankNet et arbres à gradient boosting
• perte basée sur le rang et optimisation des métriques
• combinaison de caractéristiques
• biais de position

Key theories

Formulations par point, par paire et par liste

Le classement peut être appris en prédisant la pertinence de chaque document indépendamment (par point), en apprenant les ordres corrects de paires de documents (par paire), ou en optimisant une fonction de perte sur des listes de résultats entières (par liste), cette dernière s'alignant le plus directement avec les métriques basées sur le rang.

Apprentissage à partir des données de clics (clickthrough)

Les clics des utilisateurs fournissent un retour d'information implicite de pertinence abondant mais biaisé ; traiter les clics comme des préférences relatives au sein d'une liste de résultats permet d'entraîner les fonctions de classement à partir des journaux d'interaction plutôt qu'uniquement à partir d'étiquettes manuelles coûteuses.

Clinical relevance

L'apprentissage du classement est la méthode standard par laquelle les systèmes de recherche et de recommandation modernes combinent les signaux, et les classificateurs appris par machine basés sur les arbres à gradient boosting et les modèles neuronaux déterminent l'ordonnancement des résultats des principaux moteurs de recherche web, de la recherche e-commerce et du classement des publicités.

History

À mesure que la recherche web accumulait de nombreux signaux de classement, l'ajustement manuel est devenu impraticable, motivant le classement appris par machine. Les travaux de Joachims en 2002 ont montré que les données de clics (clickthrough) pouvaient entraîner des classificateurs ; RankNet (2005) de Burges et ses collègues a introduit le classement neuronal par paire et ses descendants LambdaRank et LambdaMART ; et l'étude de Liu en 2009 a consolidé le domaine autour des paradigmes par point, par paire et par liste.

Key figures

• Tie-Yan Liu
• Christopher Burges
• Thorsten Joachims

Seminal works

• liu2009
• burges2005
• joachims2002

Frequently asked questions

Quelle est la différence entre l'apprentissage du classement par point, par paire et par liste ?

Les méthodes par point prédisent un score de pertinence pour chaque document indépendamment ; les méthodes par paire apprennent lequel de deux documents devrait être classé plus haut ; les méthodes par liste optimisent une fonction de perte définie sur une liste classée entière. Les approches par liste s'alignent le plus étroitement avec les métriques au niveau de la liste qui intéressent réellement les utilisateurs.

Pourquoi utiliser les données de clics alors qu'elles sont biaisées ?

Les clics sont beaucoup moins chers et plus abondants que les jugements de pertinence manuels, ce qui permet un entraînement à grande échelle. L'inconvénient réside dans le biais de position et de présentation, c'est pourquoi les méthodes traitent les clics comme des préférences relatives et appliquent de plus en plus des corrections d'apprentissage non biaisées ou contrefactuelles.