تجزیه نحوی

تجزیه نحوی وظیفه بازیابی ساختار گرامری یک جمله است که یک درخت سازه‌ای یا یک ساختار وابستگی را به آن اختصاص می‌دهد که نشان می‌دهد کلمات چگونه ترکیب و مرتبط می‌شوند.

Definition

تجزیه نحوی یک جمله را به نمایشی از ساختار گرامری آن—معمولاً یک درخت سازه‌ای (ساختار عبارتی) یا یک گراف وابستگی—بر اساس یک گرامر یا مدلی که از داده‌های حاشیه‌نویسی شده یاد گرفته شده است، نگاشت می‌کند.

Scope

این موضوع شامل تحلیل ساختار جمله است: گرامرهای مستقل از متن و غنی‌تر، تجزیه سازه‌ای (درخت‌های ساختار عبارتی) و تجزیه وابستگی (روابط سر-وابسته)، الگوریتم‌های تجزیه نموداری کلاسیک مانند CKY و Earley، و تجزیه احتمالی و داده‌محور که بر روی درخت‌بانک‌ها آموزش دیده‌اند. این موضوع به چگونگی نمایش و حل ابهام نحوی می‌پردازد. استفاده پایین‌دستی از ساختار نحوی برای محاسبه معنی تحت عنوان معناشناسی محاسباتی پوشش داده می‌شود.

Core questions

• ساختار گرامری یک جمله چگونه نمایش داده می‌شود، به عنوان سازه‌ها یا به عنوان وابستگی‌ها؟
• الگوریتم‌های تجزیه نموداری چگونه به طور کارآمد بسیاری از تحلیل‌های ممکن یک جمله را بررسی می‌کنند؟
• ابهام نحوی چگونه مدیریت می‌شود و مدل‌های احتمالی چگونه از بین تجزیه‌ها انتخاب می‌کنند؟
• تجزیه‌کننده‌ها چگونه با استفاده از پیکره‌های حاشیه‌نویسی شده (درخت‌بانک‌ها) آموزش داده و ارزیابی می‌شوند؟

Key concepts

• درخت‌های سازه‌ای (ساختار عبارتی)
• ساختارهای وابستگی
• گرامر مستقل از متن
• تجزیه CKY و Earley
• گرامر مستقل از متن احتمالی
• ابهام نحوی
• درخت‌بانک‌ها
• برچسب‌های نقش کلمه

Key theories

گرامرهای مستقل از متن و تجزیه نموداری

گرامرهای مستقل از متن ساختار عبارتی را مدل‌سازی می‌کنند، و تجزیه‌کننده‌های نموداری برنامه‌نویسی پویا مانند الگوریتم‌های CKY و Earley با استفاده مجدد از تحلیل‌های زیربخش‌ها، تمام تجزیه‌های معتبر را در زمان چندجمله‌ای بازیابی می‌کنند.

تجزیه احتمالی

اختصاص احتمالات به قواعد گرامری (مانند گرامرهای مستقل از متن احتمالی) به یک تجزیه‌کننده اجازه می‌دهد تا تحلیل‌های رقیب را رتبه‌بندی کرده و محتمل‌ترین ساختار را انتخاب کند، که به ابهام فراگیر نحو زبان طبیعی می‌پردازد.

درخت‌بانک‌ها و تجزیه داده‌محور

پیکره‌های حاشیه‌نویسی شده بزرگ مانند پن تری‌بانک داده‌های آموزشی و ارزیابی را فراهم کردند که تجزیه را به یک وظیفه داده‌محور تبدیل کرد و تجزیه‌کننده‌های آماری و سپس عصبی را که از ساختارهای حاشیه‌نویسی شده توسط انسان یاد گرفته شده‌اند، ممکن ساخت.

Clinical relevance

تجزیه نحوی با آشکار کردن چگونگی گروه‌بندی و ارتباط کلمات، از بررسی گرامر، استخراج اطلاعات، پاسخگویی به سؤالات و ترجمه ماشینی پشتیبانی می‌کند؛ به ویژه ساختار وابستگی به طور گسترده‌ای به عنوان ورودی برای سیستم‌های معنایی و استخراج پایین‌دستی استفاده می‌شود.

History

تجزیه بر اساس گرامرهای رسمی چامسکی بنا شد؛ الگوریتم‌های CKY (دهه ۱۹۶۰) و Earley (۱۹۷۰) تجزیه کارآمد مستقل از متن را ارائه دادند. پن تری‌بانک (۱۹۹۳) تجزیه آماری را کاتالیز کرد، و تجزیه‌کننده‌های احتمالی و سپس عصبی به تدریج دقت و استحکام را در متن واقعی بهبود بخشیدند.

Key figures

• Noam Chomsky
• Tadao Kasami
• Jay Earley
• Mitchell P. Marcus
• Christopher D. Manning

Seminal works

• marcus1993
• jurafsky2023

Frequently asked questions

تفاوت بین تجزیه سازه‌ای و تجزیه وابستگی چیست؟

تجزیه سازه‌ای کلمات را در عبارات تودرتو (مانند عبارات اسمی و عبارات فعلی) گروه‌بندی می‌کند و یک درخت از سازه‌ها تولید می‌کند. تجزیه وابستگی به جای آن، هر کلمه را به کلمه‌ای که به آن وابسته است (سر آن) پیوند می‌دهد و یک گراف از روابط گرامری تولید می‌کند. هر دو ساختار نحوی را به تصویر می‌کشند اما بر جنبه‌های متفاوتی تأکید دارند.

چرا تجزیه با وجود تعریف خوب گرامرها دشوار است؟

جملات زبان طبیعی بسیار مبهم هستند: یک جمله واحد می‌تواند ساختارهای گرامری معتبر زیادی داشته باشد، و این تعداد می‌تواند با طول جمله به سرعت افزایش یابد. انتخاب تحلیل مورد نظر نیازمند ترجیحات آماری یا آموخته شده است، نه فقط یک گرامر، که این امر تجزیه را چالش‌برانگیز می‌کند.