Các chỉ số hiệu quả IR

Các chỉ số hiệu quả biến một danh sách kết quả được xếp hạng thành một con số phản ánh mức độ đáp ứng nhu cầu thông tin, cho phép so sánh và tính trung bình các hệ thống trên nhiều truy vấn.

Definition

Một chỉ số hiệu quả IR là một hàm ánh xạ đầu ra được xếp hạng của một hệ thống cho một hoặc nhiều truy vấn, cùng với các phán đoán liên quan, đến một điểm số định lượng chất lượng truy xuất, với các chỉ số khác nhau nhấn mạnh độ thu hồi, độ chính xác ban đầu hoặc độ lợi được phân loại ở các thứ hạng cao nhất.

Scope

Chủ đề này bao gồm các thước đo được sử dụng để chấm điểm đầu ra truy xuất: độ chính xác và độ thu hồi dựa trên tập hợp và sự kết hợp F-measure của chúng, các thước đo nhạy cảm với thứ hạng bao gồm độ chính xác tại k, độ chính xác trung bình và độ chính xác trung bình tổng thể, thứ hạng nghịch đảo, và các thước đo dựa trên độ lợi như độ lợi tích lũy chiết khấu và dạng chuẩn hóa của nó. Nó đề cập đến những gì mỗi chỉ số đánh giá, cách các chỉ số xử lý mức độ liên quan được phân loại và các phán đoán không đầy đủ, và cách các điểm số được tổng hợp và kiểm tra ý nghĩa thống kê. Nó không bao gồm các bộ sưu tập và phán đoán cung cấp dữ liệu liên quan.

Core questions

• Độ chính xác và độ thu hồi nắm bắt các khía cạnh bổ sung của chất lượng truy xuất như thế nào?
• Tại sao cần các chỉ số nhạy cảm với thứ hạng khi người dùng quét kết quả từ trên xuống?
• Độ chính xác trung bình tóm tắt một danh sách được xếp hạng thành một con số duy nhất như thế nào?
• Các chỉ số dựa trên độ lợi như nDCG sử dụng mức độ liên quan được phân loại và chiết khấu thứ hạng như thế nào?
• Các chỉ số bị ảnh hưởng như thế nào bởi các phán đoán liên quan không đầy đủ?

Key concepts

• độ chính xác và độ thu hồi
• F-measure
• độ chính xác tại k
• độ chính xác trung bình và MAP
• thứ hạng nghịch đảo trung bình (MRR)
• độ lợi tích lũy chiết khấu (DCG / nDCG)
• mức độ liên quan được phân loại
• các chỉ số mạnh mẽ cho các phán đoán không đầy đủ (bpref)

Key theories

Độ chính xác, độ thu hồi và độ chính xác trung bình

Độ chính xác và độ thu hồi đo tỷ lệ các mục được truy xuất có liên quan và tỷ lệ các mục liên quan được truy xuất; độ chính xác trung bình tích hợp độ chính xác trên các mức độ thu hồi cho một truy vấn duy nhất, và giá trị trung bình của nó trên các truy vấn (MAP) là một bản tóm tắt tiêu chuẩn cho truy xuất được xếp hạng.

Độ lợi tích lũy chiết khấu

Đánh giá dựa trên độ lợi gán cho mỗi kết quả một độ lợi theo mức độ liên quan được phân loại của nó và chiết khấu độ lợi ở các thứ hạng thấp hơn, sau đó chuẩn hóa theo xếp hạng lý tưởng, tạo ra nDCG, vốn thưởng cho việc đặt các mục có liên quan cao gần đầu.

Đánh giá với các phán đoán không đầy đủ

Khi không phải tất cả các tài liệu đều được đánh giá, các chỉ số ngây thơ có thể bị sai lệch, thúc đẩy các thước đo như bpref và AP suy luận vốn mạnh mẽ hơn đối với các tài liệu chưa được đánh giá trong các bộ sưu tập lớn hoặc được gộp lại.

Clinical relevance

Các chỉ số hiệu quả là thước đo mà nghiên cứu và ngành công nghiệp truy xuất sử dụng để đánh giá tiến độ và lựa chọn giữa các hệ thống. Đặc biệt, nDCG và MAP thường được sử dụng trong các chiến dịch đánh giá và thử nghiệm ngoại tuyến sản xuất, và việc lựa chọn chỉ số định hình các hành vi mà một hệ thống xếp hạng được tối ưu hóa để tạo ra.

History

Độ chính xác và độ thu hồi có từ những thí nghiệm IR sớm nhất, và độ chính xác trung bình trở thành công cụ chính trong đánh giá ad hoc của TREC. Các thước đo độ lợi tích lũy của Järvelin và Kekäläinen năm 2002 đã giới thiệu đánh giá dựa trên mức độ liên quan được phân loại, chiết khấu theo thứ hạng, tạo ra nDCG, vốn trở nên chiếm ưu thế cho việc xếp hạng kiểu web. Công trình về các phán đoán không đầy đủ đã tạo ra các chỉ số mạnh mẽ cho các bộ sưu tập lớn.

Key figures

• Kalervo Järvelin
• Jaana Kekäläinen
• Ellen M. Voorhees
• Chris Buckley

Seminal works

• manning2008
• jarvelin2002
• buckley2004

Frequently asked questions

Tại sao chỉ độ chính xác thôi là chưa đủ để đánh giá một hệ thống tìm kiếm?

Độ chính xác đo lường có bao nhiêu kết quả được truy xuất là liên quan nhưng bỏ qua có bao nhiêu tài liệu liên quan đã bị bỏ lỡ, điều mà độ thu hồi nắm bắt. Một hệ thống có thể có độ chính xác hoàn hảo bằng cách trả về một kết quả rõ ràng liên quan trong khi bỏ lỡ nhiều kết quả khác, vì vậy hai yếu tố này thường được xem xét cùng nhau hoặc kết hợp thành các thước đo nhạy cảm với thứ hạng.

nDCG mang lại lợi thế gì so với độ chính xác trung bình tổng thể?

nDCG sử dụng mức độ liên quan được phân loại, phân biệt kết quả rất liên quan với kết quả liên quan một phần, và chiết khấu rõ ràng độ lợi ở các thứ hạng thấp hơn. Điều này làm cho nó rất phù hợp với tìm kiếm web, nơi người dùng quan tâm nhất đến các kết quả hàng đầu và mức độ liên quan không chỉ đơn giản là có hoặc không.