ユーザー評価とオンライン評価

ユーザー評価とオンライン評価は、固定された関連性判断ではなく、調査、クリックデータ、A/Bテスト、インターリービングを用いて、実際またはシミュレートされたユーザーインタラクションを通じて検索品質を測定します。

Definition

ユーザー評価とオンライン評価は、ユーザーインタラクションを通じて検索システムを評価する方法を包含します。これには、タスクのパフォーマンスと満足度に関する制御された実験室研究から、実際のユーザーの行動を観察することでシステムを比較するA/Bテストやインターリービングなどの大規模なオンライン実験までが含まれます。

Scope

このトピックでは、ユーザーとその行動に焦点を当てた評価について扱います。具体的には、タスクの成功と満足度に関するインタラクティブなユーザー調査、クリックや滞留時間などの暗黙的なシグナルの利用、行動を解釈するクリックモデル、およびA/Bテストやインターリービングを含む制御されたオンライン実験です。実際のユーザー利益の測定方法、行動シグナルのバイアス、オンライン実験の設計と分析について論じます。これは、隣接するトピックで扱われるオフラインのテストコレクション評価を補完するものです。

Core questions

• 判断に対する関連性だけでなく、実際のユーザー満足度とタスクの成功をどのように測定できるでしょうか？
• ユーザーはどのような暗黙的なシグナルを提供し、それらはどの程度信頼できるでしょうか？
• クリックモデルは、位置と提示のバイアスをどのように説明するのでしょうか？
• A/Bテストとインターリービングは、オンラインでシステムをどのように比較するのでしょうか？
• ランキングの比較において、インターリービングがA/Bテストよりも感度が高いことが多いのはなぜでしょうか？

Key concepts

• インタラクティブユーザー調査
• タスクの成功と満足度
• 暗黙的フィードバック（クリック、滞留時間）
• クリックモデル（位置、カスケード）
• 位置と提示のバイアス
• A/Bテスト
• インターリービング
• オンライン指標と感度

Key theories

暗黙的フィードバックとクリックモデル

ユーザーのクリックやその他のインタラクションは、豊富ではあるもののバイアスのある関連性シグナルを提供します。位置モデルやカスケードモデルなどのクリックモデルは、ユーザーが結果をどのように調べるかを形式化し、クリックを関連性の証拠として解釈できるようにします。

制御されたオンライン実験

A/Bテストは、ユーザーをシステムバリアントにランダムに割り当て、結果指標を比較します。一方、インターリービングは2つのランキングを1つのリストに統合し、クリックを帰属させます。これにより、ランキング品質のより感度の高いユーザー内比較がしばしば可能になります。

Clinical relevance

オンライン評価は、大規模な検索、レコメンデーション、およびEコマースシステムがどの変更を導入するかを決定する主要な方法です。これは、実際のユーザーへの影響を測定するためです。バイアスを補正するクリックモデルを通じて解釈されるA/Bテストとインターリービングは、本番環境でのランキングの大規模な継続的改善を推進します。

History

ユーザー中心のIR評価は、インタラクティブな検索行動を長年研究してきましたが、ウェブ検索の台頭により、大規模なオンライン評価が実用的になりました。2002年のJoachimsの研究は、クリックスルーデータを関連性シグナルとして確立し、インターリービングを導入しました。制御されたウェブ実験は2000年代を通じて業界で成熟し、2016年の調査でオンライン評価手法が統合されました。

Key figures

• Thorsten Joachims
• Filip Radlinski
• Katja Hofmann
• Ron Kohavi

Seminal works

• hofmann2016
• joachims2002
• kohavi2009

Frequently asked questions

インターリービングとは何ですか、またなぜ使用されるのですか？

インターリービングは、2つのランキングシステムの結果を単一のリストに統合し、各ユーザーに表示し、クリックされた各結果に貢献したシステムにクリックを帰属させます。各ユーザーが実質的に両方のシステムを一度に比較するため、インターリービングはランキングの改善を検出する上でA/Bテストよりも感度が高いことがよくあります。

クリックを額面通りに信頼性として受け取れないのはなぜですか？

ユーザーは、真の関連性に関わらず、上位にランク付けされた結果をクリックする傾向があり（位置バイアス）、結果の提示方法にも影響されます。クリックモデルはこれらのバイアスを補正し、クリックをより信頼性の高い関連性の証拠として解釈できるようにします。