Mô hình truy xuất
Mô hình truy xuất là các khuôn khổ chính thức định nghĩa một tài liệu phù hợp với một truy vấn như thế nào và cách các tài liệu được chấm điểm và xếp hạng để đáp ứng nhu cầu thông tin.
Definition
Mô hình truy xuất là một đặc tả chính xác về biểu diễn tài liệu và truy vấn cùng với một hàm xếp hạng hoặc khớp, khi được cung cấp một truy vấn, gán cho mỗi tài liệu một điểm phản ánh mức độ liên quan ước tính của nó đối với nhu cầu thông tin cơ bản.
Scope
Lĩnh vực này bao gồm các mô hình toán học chính được sử dụng để khớp các truy vấn với tài liệu và để xếp hạng kết quả: truy xuất Boolean và Boolean mở rộng dựa trên lý thuyết tập hợp, mô hình không gian vectơ đại số với trọng số thuật ngữ như tf-idf, các mô hình xác suất bao gồm mô hình độc lập nhị phân và BM25, và các mô hình ngôn ngữ thống kê để truy xuất. Nó đề cập đến cách thức liên quan được hình thức hóa, cách trọng số thuật ngữ được gán và cách một điểm tương đồng hoặc xác suất tạo ra một thứ hạng. Nó không bao gồm các cấu trúc dữ liệu giúp truy xuất hiệu quả (được đề cập trong lập chỉ mục và xử lý truy vấn) và việc đo lường thực nghiệm về hiệu suất của một mô hình (được đề cập trong đánh giá).
Sub-topics
Core questions
- Một mô hình giả định biểu diễn chính thức nào của tài liệu và truy vấn?
- Một mô hình chuyển đổi biểu diễn thành điểm liên quan hoặc quyết định khớp như thế nào?
- Các thuật ngữ riêng lẻ được gán trọng số như thế nào để phản ánh tầm quan trọng của chúng trong một tài liệu và trên một tập hợp?
- Một mô hình giải thích sự không chắc chắn vốn có trong liên quan như thế nào?
- Một mô hình đưa ra những giả định nào (chẳng hạn như độc lập thuật ngữ), và khi nào chúng bị phá vỡ?
Key concepts
- liên quan
- trọng số thuật ngữ và tf-idf
- truy xuất Boolean
- không gian vectơ và độ tương đồng cosine
- nguyên lý xếp hạng xác suất
- mô hình độc lập nhị phân và BM25
- khả năng truy vấn và làm mịn
- giả định độc lập thuật ngữ
- hàm xếp hạng
Key theories
- Mô hình không gian vectơ
- Các tài liệu và truy vấn được biểu diễn dưới dạng vectơ trong không gian thuật ngữ đa chiều, thường với trọng số tf-idf, và mức độ liên quan được ước tính bằng một độ tương đồng hình học như cosine của góc giữa các vectơ truy vấn và tài liệu.
- Nguyên lý xếp hạng xác suất và truy xuất xác suất
- Xếp hạng tài liệu theo xác suất liên quan ước tính của chúng đối với một truy vấn sẽ tối ưu hóa hiệu quả truy xuất theo các giả định đã nêu; mô hình độc lập nhị phân và hậu duệ thực tế của nó là BM25 vận hành điều này với trọng số thuật ngữ được suy ra từ xác suất liên quan.
- Phương pháp mô hình ngôn ngữ để truy xuất
- Mỗi tài liệu được coi là một mẫu từ một mô hình ngôn ngữ tạo sinh, và các tài liệu được xếp hạng theo xác suất mà mô hình của chúng sẽ tạo ra truy vấn, với việc làm mịn được sử dụng để xử lý các thuật ngữ truy vấn không nhìn thấy.
Clinical relevance
Các mô hình truy xuất là cốt lõi chấm điểm của hầu hết mọi hệ thống tìm kiếm, từ danh mục thư viện và tìm kiếm doanh nghiệp đến các công cụ tìm kiếm web và các giai đoạn xếp hạng ứng viên của trả lời câu hỏi và tạo sinh tăng cường truy xuất. Đặc biệt, tf-idf và BM25 vẫn là những đường cơ sở mạnh mẽ, được triển khai rộng rãi.
History
Mô hình không gian vectơ xuất hiện từ dự án SMART của Salton vào những năm 1960 và 1970, mang lại cho truy xuất một nền tảng đại số. Song song đó, Robertson và Spärck Jones đã phát triển một lý thuyết xác suất về trọng số liên quan vào những năm 1970, sau này phát triển thành hàm xếp hạng BM25. Phương pháp mô hình ngôn ngữ, được Ponte và Croft giới thiệu vào năm 1998, đã định hình lại truy xuất như một quá trình tạo sinh thống kê và mở rộng bộ công cụ mô hình hóa.
Key figures
- Gerard Salton
- Stephen E. Robertson
- Karen Spärck Jones
- W. Bruce Croft
- C. J. van Rijsbergen
Related topics
Seminal works
- salton1975
- robertson1976
- ponte1998
- manning2008
Frequently asked questions
- Sự khác biệt giữa mô hình truy xuất và hàm xếp hạng là gì?
- Mô hình truy xuất là khuôn khổ tổng thể chỉ rõ cách các tài liệu và truy vấn được biểu diễn và cách mức độ liên quan được hình thành; hàm xếp hạng là công thức chấm điểm cụ thể mà mô hình tạo ra, chẳng hạn như độ tương đồng cosine trong mô hình không gian vectơ hoặc công thức BM25 trong họ xác suất.
- Tại sao BM25 vẫn được sử dụng khi các mô hình thần kinh tồn tại?
- BM25 nhanh, không yêu cầu dữ liệu huấn luyện, có rất ít tham số và vẫn là một đường cơ sở mạnh mẽ mà các bộ xếp hạng thần kinh thường được đo lường và kết hợp. Nhiều hệ thống hiện đại sử dụng BM25 để truy xuất một tập hợp ứng viên ban đầu mà sau đó một mô hình đắt tiền hơn sẽ xếp hạng lại.