تجزیه و تحلیل و صورتگراییهای گرامری
بازیابی ساختار گرامری جملات توسط ماشین: صورتگراییهای گرامری که ساختارهای مجاز را توصیف میکنند و الگوریتمهایی که آنها را محاسبه میکنند، از درختهای سازهای تا نمودارهای وابستگی.
Definition
تجزیه، تخصیص محاسباتی ساختار گرامری به یک رشته ورودی بر اساس یک گرامر است؛ صورتگراییهای گرامری سیستمهایی هستند که برای تعیین ساختارهای مجاز استفاده میشوند.
Scope
تحلیل نحوی در زبانشناسی محاسباتی را پوشش میدهد — تجزیه سازهای مستقل از متن و الگوریتمهای احتمالی و مبتنی بر نمودار آن، تجزیه وابستگی، صورتگراییهای گرامری اصلی فراتر از گرامرهای ساده مستقل از متن، و وظایف برچسبگذاری توالی (مانند برچسبگذاری اجزای کلام) که تجزیه را تغذیه میکنند. این بخش تفسیر معنایی را که در معناشناسی محاسباتی مورد بررسی قرار میگیرد، و نظریه اتوماتا زیربنایی را که در مبانی پوشش داده میشود، شامل نمیشود.
Sub-topics
Core questions
- چگونه میتوان یک درخت نحوی یا نمودار وابستگی را به طور کارآمد به یک جمله اختصاص داد؟
- کدام صورتگراییهای گرامری نحو زبان طبیعی را به اندازه کافی به تصویر میکشند؟
- چگونه احتمالات به رفع ابهام در میان بسیاری از تجزیههای ممکن کمک میکنند؟
- چگونه برچسبگذاری و تکهبندی از تجزیه کامل پشتیبانی میکنند؟
Key concepts
- تجزیه سازهای
- تجزیه وابستگی
- گرامر مستقل از متن
- تجزیه نموداری
- گرامر احتمالی
- برچسبگذاری اجزای کلام
- درختبانک
- ابهام ساختاری
Key theories
- تجزیه نموداری
- الگوریتمهای برنامهنویسی پویا مانند CKY و Earley که تمام تحلیلهای ممکن یک جمله را در زمان چندجملهای با استفاده مجدد از زیرتجزیههای مشترک محاسبه میکنند.
- گرامرهای احتمالی مستقل از متن
- الحاق احتمالات به قواعد گرامری به طوری که محتملترین تجزیه را بتوان انتخاب کرد، که به ابهام ساختاری فراگیر زبان طبیعی میپردازد.
History
تجزیه اولیه بر گرامرهای دستساز و جستجوی جامع متکی بود؛ الگوریتمهای CKY و Earley تجزیه مستقل از متن را کارآمد کردند. انتشار درختبانکها در دهه 1990 تجزیه احتمالی مبتنی بر داده را ممکن ساخت، و دهه 2000 شاهد اوجگیری تجزیه وابستگی به دلیل استحکام بینزبانی آن بود که بعدها توسط تجزیهکنندههای عصبی جایگزین شد.
Debates
- نمایش سازهای در مقابل نمایش وابستگی
- اینکه آیا نحو بهتر است به عنوان عبارات تو در تو یا به عنوان روابط سر-وابسته برچسبگذاری شده نمایش داده شود؛ هر دو به طور گستردهای استفاده میشوند، با این حال وابستگی برای زبانهایی با ترتیب کلمات آزاد و وظایف پاییندستی ترجیح داده میشود.
Key figures
- Jay Earley
- Joakim Nivre
- Christopher Manning
- Mitchell Marcus
Related topics
Seminal works
- manning1999
- kubler2009
- jurafsky2025
Frequently asked questions
- چرا تجزیه دشوار است اگر قواعد گرامری شناخته شده باشند؟
- جملات طبیعی به شدت مبهم هستند: یک رشته واحد میتواند ساختارهای قانونی بسیاری داشته باشد. بنابراین تجزیه باید نه تنها ساختارها را پیدا کند بلکه آنها را رتبهبندی کند، به همین دلیل مدلهای احتمالی و یادگرفته شده ضروری هستند.