Evaluierung von Empfehlungssystemen

Die Evaluierung von Empfehlungssystemen misst die Qualität von Empfehlungen, umfassend die Vorhersagegenauigkeit, die Ranking-Qualität und über die Genauigkeit hinausgehende Eigenschaften wie Diversität, Neuartigkeit und Abdeckung.

Definition

Die Evaluierung von Empfehlungssystemen ist der Satz von Methodologien und Metriken zur Bewertung der Qualität eines Empfehlungssystems, einschließlich Offline-Genauigkeits- und Ranking-Maßen, die auf zurückgehaltenen Daten berechnet werden, über die Genauigkeit hinausgehender Eigenschaften des Empfehlungssatzes sowie benutzerzentrierter und Online-Experimente.

Scope

Dieses Thema behandelt die Bewertung von Empfehlungssystemen: Offline-Experimente unter Verwendung zurückgehaltener Interaktionsdaten, Genauigkeitsmaße für die Bewertungsvorhersage und für das Top-N-Ranking sowie Kriterien jenseits der Genauigkeit, einschließlich Diversität, Neuartigkeit, Serendipität und Katalogabdeckung, sowie Benutzerstudien und Online-Experimente. Es befasst sich mit Fallstricken im experimentellen Design, die spezifisch für Empfehlungen sind, wie Datensplitting und Popularitätsverzerrung, und verbindet sich mit den breiteren Online-Evaluierungsmethoden, die im gesamten Bereich des Informationszugriffs verwendet werden.

Core questions

• Wie wird die Empfehlungsqualität für die Bewertungsvorhersage im Vergleich zum Top-N-Ranking gemessen?
• Warum sind Genauigkeitsmetriken allein unzureichend, um ein Empfehlungssystem zu beurteilen?
• Wie werden Diversität, Neuartigkeit, Serendipität und Abdeckung quantifiziert?
• Wie sollten Interaktionsdaten aufgeteilt werden, um Datenlecks und Popularitätsverzerrungen zu vermeiden?
• Wie ergänzen sich Offline-, Benutzerstudien- und Online-Evaluierungen gegenseitig?

Key concepts

• Genauigkeit der Bewertungsvorhersage (MAE, RMSE)
• Top-N-Ranking-Metriken (Präzision, Recall, nDCG)
• Diversität und Neuartigkeit
• Serendipität
• Katalogabdeckung
• Offline- vs. Online-Evaluierung
• Datensplitting und Datenlecks
• Popularitätsverzerrung

Key theories

Genauigkeits- und Ranking-Evaluierung

Empfehlungssysteme werden entweder danach bewertet, wie gut sie Bewertungen vorhersagen, unter Verwendung von Fehlermessungen, oder danach, wie gut sie Elemente ranken, unter Verwendung von Top-N-Maßen wie Präzision, Recall und normalisiertem diskontiertem kumulativem Gewinn, wobei letzteres besser mit der Art und Weise übereinstimmt, wie Empfehlungen konsumiert werden.

Evaluierung jenseits der Genauigkeit

Da genaue, aber redundante oder offensichtliche Empfehlungen Benutzer möglicherweise nicht zufriedenstellen, berücksichtigt die Evaluierung auch Diversität, Neuartigkeit, Serendipität und Abdeckung, wobei anerkannt wird, dass die Empfehlungsqualität multidimensional ist.

Clinical relevance

Eine fundierte Evaluierung bestimmt, welche Änderungen an Empfehlungssystemen implementiert werden und schützt davor, das falsche Ziel zu optimieren. Über die Genauigkeit hinausgehende Aspekte wie Diversität und Neuartigkeit beeinflussen direkt die Benutzerzufriedenheit und das Engagement und stehen in Verbindung mit breiteren Themen wie Filterblasen und Fairness bei Empfehlungen.

History

Der Artikel von Herlocker und Kollegen aus dem Jahr 2004 etablierte einen rigorosen Rahmen für die Evaluierung kollaborativer Filter-Empfehlungssysteme und klärte Aufgaben und Metriken. Der Netflix Prize popularisierte die RMSE-basierte Genauigkeitsevaluierung, wonach sich das Feld in Richtung Ranking und über die Genauigkeit hinausgehender Maße erweiterte, konsolidiert in Handbuchkapiteln, die die Anpassung der Evaluierung an die beabsichtigte Benutzeraufgabe betonen.

Key figures

• Jonathan Herlocker
• Joseph Konstan
• Guy Shani
• Asela Gunawardana

Seminal works

• herlocker2004
• shani2011
• ricci2015

Frequently asked questions

Warum reicht Genauigkeit nicht aus, um ein Empfehlungssystem zu evaluieren?

Ein Empfehlungssystem kann genau, aber dennoch wenig hilfreich sein, zum Beispiel indem es Elemente vorschlägt, die der Benutzer bereits kennt oder die nahezu Duplikate sind. Eigenschaften wie Diversität, Neuartigkeit, Serendipität und Abdeckung erfassen Aspekte der Nützlichkeit, die die Genauigkeit nicht erfasst, daher berücksichtigt eine gute Evaluierung mehrere Dimensionen.

Warum ist das Datensplitting bei der Evaluierung von Empfehlungssystemen schwierig?

Empfehlungsdaten sind zeitlich geordnet und neigen zu populären Elementen, sodass naive zufällige Aufteilungen zukünftige Informationen preisgeben oder einfach die Empfehlung populärer Elemente belohnen können. Sorgfältige zeitbasierte Aufteilungen und bias-bewusste Metriken sind erforderlich, um Offline-Ergebnisse für die tatsächliche Leistung prädiktiv zu machen.