مدل‌های زبانی برای بازیابی اطلاعات

رویکرد مدل‌سازی زبان به بازیابی اطلاعات، هر سند را به عنوان یک مولد احتمالی متن در نظر می‌گیرد و اسناد را بر اساس میزان احتمال تولید پرس و جو توسط آن‌ها رتبه‌بندی می‌کند.

Definition

در رویکرد مدل‌سازی زبان به بازیابی اطلاعات، هر سند با یک توزیع احتمال بر روی اصطلاحات (مدل زبانی آن) مرتبط است، و اسناد بر اساس احتمالی که این مدل پرس و جوی مشاهده شده را تولید می‌کند، رتبه‌بندی می‌شوند، با این توضیح که هموارسازی جرم احتمال را به اصطلاحات دیده نشده بازتوزیع می‌کند.

Scope

این موضوع مدل‌های زبانی آماری اعمال شده در بازیابی اطلاعات را پوشش می‌دهد: مدل احتمال پرس و جو (query likelihood)، روش‌های هموارسازی (smoothing) مانند جلینک-مرسر (Jelinek-Mercer) و دیریکله (Dirichlet) که با اصطلاحات پرس و جوی غایب در یک سند برخورد می‌کنند، و توسعه‌هایی مانند مدل‌های ارتباط (relevance models). این موضوع به چگونگی تخمین یک مدل زبانی سند، چرایی اهمیت هموارسازی، و چگونگی ارتباط و رقابت این چارچوب با مدل‌های فضای برداری و مدل‌های احتمالاتی ارتباط می‌پردازد. این بخش مدل‌های زبانی مولد کلاسیک را برای رتبه‌بندی مورد بررسی قرار می‌دهد، نه روش‌های گسترده‌تر عصبی و مدل‌های زبان بزرگ که در جای دیگر پوشش داده شده‌اند.

Core questions

• چگونه یک مدل زبانی از اصطلاحات موجود در یک سند واحد تخمین زده می‌شود؟
• چرا مدل سند باید هموارسازی شود و روش‌های هموارسازی چه کاری انجام می‌دهند؟
• امتیاز احتمال پرس و جو (query likelihood) چه ارتباطی با وزن‌دهی به سبک tf-idf دارد؟
• مدل‌های ارتباط (relevance models) چگونه شواهدی در مورد نیاز اطلاعاتی فراتر از پرس و جوی لفظی را در بر می‌گیرند؟
• چارچوب‌بندی مولد (generative framing) چگونه با چارچوب‌بندی احتمال ارتباط (probability-of-relevance framing) مقایسه می‌شود؟

Key concepts

• مدل زبانی سند
• احتمال پرس و جو
• تخمین حداکثر درست‌نمایی احتمالات اصطلاحات
• هموارسازی (جلینک-مرسر، دیریکله)
• درون‌یابی مدل مجموعه
• رتبه‌بندی واگرایی کولبک-لایبلر
• مدل‌های ارتباط
• بازخورد شبه-ارتباط

Key theories

مدل احتمال پرس و جو

هر سند یک مدل زبانی را تعریف می‌کند، و اسناد بر اساس احتمال تولید پرس و جو از آن مدل رتبه‌بندی می‌شوند، که بازیابی را به جای وزن‌دهی صریح ارتباط، به یک مسئله احتمال مولد تبدیل می‌کند.

هموارسازی مدل‌های زبانی سند

از آنجا که یک سند نمونه کوچکی است، اصطلاحات غایب در آن در غیر این صورت احتمال صفر دریافت می‌کنند؛ روش‌های هموارسازی مانند جلینک-مرسر و دیریکله مدل سند را با مدل مجموعه درون‌یابی می‌کنند، و میزان هموارسازی به شدت بر اثربخشی تأثیر می‌گذارد.

مدل‌های ارتباط

مدل‌های زبانی مبتنی بر ارتباط، مدلی از نیاز اطلاعاتی را از پرس و جو و اسناد با رتبه بالا تخمین می‌زنند، که شکلی اصولی از گسترش پرس و جو و بازخورد شبه-ارتباط را در چارچوب مدل‌سازی زبان فراهم می‌کند.

Clinical relevance

مدل‌سازی زبان خانواده‌ای انعطاف‌پذیر و از نظر نظری مستحکم از رتبه‌بندی‌کننده‌ها را فراهم کرد که در سیستم‌های تحقیقاتی استاندارد شد و بر جستجوی تولیدی تأثیر گذاشت. ایده‌های هموارسازی و مدل ارتباط آن زیربنای گسترش مؤثر پرس و جو هستند، و دیدگاه مولد مستقیماً پیش‌بینی‌کننده روش‌های بازیابی عصبی و مدل‌های زبان بزرگ امروزی است.

History

پونته و کرافت رویکرد مدل‌سازی زبان را برای بازیابی اطلاعات در سال 1998 معرفی کردند و رتبه‌بندی را به عنوان احتمال مولد بازتعریف کردند. مطالعه ژای و لافرتی در سال 2004 نقش محوری هموارسازی را تثبیت کرد و مشخص نمود که کدام روش‌ها بهترین عملکرد را دارند، و مدل‌های ارتباط لاورنکو و کرافت (2001) این چارچوب را به گسترش پرس و جو مرتبط ساختند. این رویکرد در دهه 2000 به یک پارادایم تحقیقاتی غالب تبدیل شد.

Key figures

• W. Bruce Croft
• ChengXiang Zhai
• John Lafferty
• Jay M. Ponte
• Victor Lavrenko

Seminal works

• ponte1998
• zhai2004
• lavrenko2001

Frequently asked questions

چرا هموارسازی در بازیابی مدل زبانی اینقدر مهم است؟

یک سند واحد نمونه کوچکی از زبان است، بنابراین بسیاری از اصطلاحات پرس و جوی مرتبط ممکن است در آن ظاهر نشوند و احتمال صفر دریافت کنند، که امتیاز را از بین می‌برد. هموارسازی جرم احتمال را از یک مدل در سطح مجموعه قرض می‌گیرد تا اصطلاحات دیده نشده احتمالات کوچک و غیرصفر دریافت کنند و به طور مؤثر وزن‌دهی شبیه idf را دوباره معرفی می‌کند.

رویکرد مدل‌سازی زبان چه تفاوتی با مدل‌های احتمالاتی ارتباط دارد؟

مدل‌های احتمالاتی ارتباط، احتمال مرتبط بودن یک سند را تخمین می‌زنند، در حالی که رویکرد مدل‌سازی زبان، احتمال تولید پرس و جو توسط مدل یک سند را تخمین می‌زند. آن‌ها اغلب رتبه‌بندی‌های مشابهی تولید می‌کنند اما از مفروضات مولد در مقابل مفروضات متمرکز بر ارتباط متفاوت شروع می‌کنند.