Modèle d'espace vectoriel

Le modèle d'espace vectoriel représente les documents et les requêtes comme des vecteurs de poids de termes dans un espace de grande dimension et classe les documents en fonction de leur similarité géométrique avec la requête.

Definition

Le modèle d'espace vectoriel intègre les documents et les requêtes comme des vecteurs dont les composantes sont des poids de termes, et estime la pertinence par une mesure de similarité vectorielle, le plus souvent le cosinus de l'angle entre les vecteurs du document et de la requête après normalisation de la longueur.

Scope

Ce sujet couvre le modèle algébrique de recherche d'information dans lequel chaque terme définit une dimension et les documents et requêtes deviennent des vecteurs pondérés. Il aborde les schémas de pondération des termes, en particulier la fréquence des termes (term frequency), la fréquence inverse des documents (inverse document frequency) et leur produit tf-idf, la normalisation de la longueur, et la similarité cosinus utilisée pour évaluer les documents. Il traite l'intuition géométrique de la pertinence comme une proximité dans l'espace des termes et l'évaluation pratique de la recherche classée, tout en laissant la justification probabiliste des poids au sujet des modèles probabilistes.

Core questions

• Comment les documents et les requêtes sont-ils transformés en vecteurs sur un vocabulaire de termes partagé ?
• Pourquoi la combinaison de la fréquence des termes et de la fréquence inverse des documents produit-elle des poids utiles ?
• Comment la similarité cosinus mesure-t-elle la proximité tout en contrôlant la longueur du document ?
• Que signifie géométriquement pour un document d'être pertinent par rapport à une requête ?
• Quelles sont les limites de considérer les termes comme des dimensions orthogonales indépendantes ?

Key concepts

• vecteur terme-document
• fréquence des termes (tf)
• fréquence inverse des documents (idf)
• pondération tf-idf
• similarité cosinus
• normalisation de la longueur
• espace de termes de grande dimension
• hypothèse du sac de mots

Key theories

Représentation vectorielle et similarité cosinus

Représenter les documents et les requêtes comme des vecteurs dans l'espace des termes permet d'estimer la pertinence par le cosinus de l'angle entre eux, ce qui normalise la longueur et récompense les documents dont la distribution des termes s'aligne avec la requête.

Pondération des termes tf-idf

Le poids d'un terme augmente avec sa fréquence dans un document mais est atténué par la fréquence du terme dans l'ensemble de la collection, capturée par la fréquence inverse des documents, de sorte que les termes discriminants dominent le score.

Clinical relevance

Le modèle d'espace vectoriel et la pondération tf-idf sont à la base d'une vaste gamme de systèmes de recherche et d'analyse de texte et demeurent une référence par défaut pour l'évaluation. Cette même représentation vectorielle est l'ancêtre conceptuel de la recherche par plongement dense moderne, où des vecteurs appris remplacent les poids de termes définis manuellement.

History

Salton a introduit l'indexation basée sur les vecteurs via le système SMART, formalisée dans l'article de 1975 avec Wong et Yang. L'interprétation statistique de la spécificité des termes par Spärck Jones en 1972 a fourni la composante de fréquence inverse des documents, et l'étude de Salton et Buckley de 1988 a systématisé les variantes de pondération tf-idf. Le modèle a dominé la recherche d'information expérimentale pendant des décennies et a façonné la manière dont le texte est représenté numériquement dans l'informatique.

Key figures

• Gerard Salton
• Karen Spärck Jones
• Chris Buckley

Seminal works

• salton1975
• sparckjones1972
• salton1988

Frequently asked questions

Pourquoi utiliser la similarité cosinus plutôt que la distance euclidienne ?

La similarité cosinus compare la direction des vecteurs du document et de la requête plutôt que leur magnitude, ce qui la rend robuste à la longueur du document : un document long et un document court sur le même sujet peuvent toujours obtenir un score élevé, tandis que la distance brute pénaliserait le plus long.

Que permet d'accomplir la fréquence inverse des documents ?

La fréquence inverse des documents diminue le poids des termes qui apparaissent dans de nombreux documents, tels que les mots courants, et augmente celui des termes rares et discriminants. Cela empêche les mots omniprésents de dominer les scores de similarité et concentre la correspondance sur les termes porteurs de contenu.