Modelos de Recuperación Probabilísticos

Los modelos de recuperación probabilísticos clasifican los documentos según su probabilidad estimada de ser relevantes para una consulta, basando la ponderación de términos en la teoría de la probabilidad.

Definition

Un modelo de recuperación probabilístico estima, para cada documento, la probabilidad de que sea relevante para una consulta dada y clasifica los documentos según esa probabilidad, derivando los pesos de los términos de la probabilidad relativa de que los términos aparezcan en documentos relevantes versus no relevantes.

Scope

Este tema abarca los modelos de recuperación construidos sobre la teoría de la probabilidad: el principio de clasificación probabilística, el modelo de independencia binaria y su esquema de ponderación por relevancia, y la función de clasificación BM25 con su saturación de frecuencia de términos y normalización de la longitud del documento. Trata cómo se modela la relevancia como un evento probabilístico, cómo se estiman los pesos de los términos a partir de la información de relevancia y por qué las clasificaciones resultantes son teóricamente óptimas bajo los supuestos establecidos. Excluye los modelos de lenguaje generativos, que se tratan por separado.

Core questions

• ¿Qué afirma el principio de clasificación probabilística sobre la clasificación óptima?
• ¿Cómo se derivan los pesos de los términos de la probabilidad de que un término aparezca en documentos relevantes versus no relevantes?
• ¿Qué supuestos de independencia hace el modelo de independencia binaria?
• ¿Cómo tiene en cuenta BM25 la saturación de la frecuencia de los términos y la longitud del documento?
• ¿Cómo puede la retroalimentación de relevancia refinar las estimaciones de probabilidad?

Key concepts

• probabilidad de relevancia
• principio de clasificación probabilística
• modelo de independencia binaria
• ponderación de relevancia
• BM25 / Okapi BM25
• saturación de frecuencia de términos
• normalización de la longitud del documento
• retroalimentación de relevancia

Key theories

Principio de clasificación probabilística

Clasificar los documentos en orden decreciente de su probabilidad de relevancia produce la mejor efectividad general para el usuario bajo supuestos de juicios de relevancia independientes, proporcionando la justificación teórica para la clasificación probabilística.

Modelo de independencia binaria

Al tratar los documentos como vectores binarios de presencia de términos y asumir que los términos ocurren independientemente dada la relevancia, el modelo deriva un peso de relevancia para cada término a partir de las probabilidades de su ocurrencia en documentos relevantes versus no relevantes.

Función de clasificación BM25

La función de puntuación práctica del marco de relevancia probabilística añade saturación no lineal de la frecuencia de términos y normalización de la longitud del documento a la ponderación de relevancia, produciendo un clasificador robusto y ajustable que sigue siendo una línea de base líder.

Clinical relevance

BM25 es una de las funciones de clasificación más ampliamente implementadas en sistemas de búsqueda de producción y motores de búsqueda de código abierto, y sirve como la línea de base sólida estándar contra la cual se comparan los clasificadores neuronales. La ponderación de relevancia probabilística también subyace a las características de retroalimentación de relevancia que refinan los resultados a partir de los juicios del usuario.

History

La IR probabilística se estableció firmemente con la teoría de ponderación de relevancia de Robertson y Spärck Jones de 1976 y el libro de texto fundamental de van Rijsbergen. A lo largo de las décadas de 1980 y 1990, el proyecto Okapi en la City University London refinó estas ideas en la función BM25, que demostró ser dominante en las evaluaciones TREC. La encuesta del marco de relevancia probabilística de 2009 consolidó la familia.

Key figures

• Stephen E. Robertson
• Karen Spärck Jones
• C. J. van Rijsbergen
• Hugo Zaragoza

Seminal works

• robertson1976
• robertson2009
• vanrijsbergen1979

Frequently asked questions

¿Qué es el principio de clasificación probabilística?

Establece que si un sistema de recuperación clasifica los documentos en orden decreciente de su probabilidad de relevancia para la consulta, entonces, bajo el supuesto de que los juicios de relevancia son independientes, la efectividad general para el usuario se maximiza. Es la base teórica para la clasificación probabilística.

¿Por qué BM25 es tan efectivo a pesar de sus suposiciones simples?

BM25 captura dos efectos empíricamente importantes que los pesos más simples no consideran: los rendimientos decrecientes de las ocurrencias repetidas de términos (saturación) y la necesidad de normalizar la longitud del documento. Estas correcciones, combinadas con pesos de términos tipo idf, lo convierten en un clasificador notablemente robusto.