پردازش زبان طبیعی آماری و عصبی

هسته داده‌محور زبان‌شناسی محاسباتی مدرن: روش‌های یادگیری ماشین که از متن یاد می‌گیرند، از طبقه‌بندی‌کننده‌های آماری و جاسازی‌های کلمه گرفته تا شبکه‌های عصبی مبتنی بر ترانسفورمر و مدل‌های زبان بزرگ.

Definition

پردازش زبان طبیعی آماری و عصبی مجموعه‌ای از روش‌های یادگیری ماشین است که قابلیت‌های پردازش زبان را از داده‌ها استنتاج می‌کنند، نه از قوانین دست‌نویس.

Scope

این بخش روش‌های مبتنی بر یادگیری را پوشش می‌دهد که بر پردازش زبان طبیعی معاصر غالب هستند — طبقه‌بندی متن نظارت‌شده، نمایش‌های توزیع‌شده کلمه و مدل‌های زبان عصبی، معماری‌های توالی به توالی و ترانسفورمر، و ترجمه ماشینی به عنوان یک کاربرد شاخص. این بخش انقلاب آماری دهه ۱۹۹۰ و انقلاب عصبی دهه ۲۰۱۰ را به عنوان یک مسیر پیوسته قرار می‌دهد. نمایش زبانی و کاربردها در حوزه‌های مجاور پوشش داده می‌شوند.

Sub-topics

• ترجمه ماشینی
• مدل‌های زبان عصبی و جاسازی‌های کلمه
• مدل‌های توالی به توالی و ترانسفورمرها
• دسته‌بندی متن و تحلیل احساسات

Core questions

• چگونه وظایف زبانی به عنوان مسائل یادگیری نظارت‌شده چارچوب‌بندی می‌شوند؟
• چگونه نمایش‌های توزیع‌شده معنای کلمه و جمله را به تصویر می‌کشند؟
• چه چیزی معماری ترانسفورمر را برای زبان اینقدر مؤثر ساخت؟
• چگونه روش‌های آماری و سپس عصبی بر این حوزه غالب شدند؟

Key concepts

• یادگیری نظارت‌شده
• نمایش ویژگی
• جاسازی کلمه
• شبکه عصبی
• خودتوجهی
• ترانسفورمر
• یادگیری انتقالی
• مدل زبان بزرگ

Key theories

یادگیری نمایش توزیعی

نمایش کلمات و متون به عنوان بردارهای متراکم آموخته‌شده از هم‌رخدادی در پیکره‌های بزرگ، به طوری که شباهت معنایی به نزدیکی هندسی تبدیل شود.

خودتوجهی و ترانسفورمرها

معماری‌ای که روابط بین تمام توکن‌ها در یک توالی را از طریق توجه مدل‌سازی می‌کند، امکان آموزش بسیار موازی را فراهم می‌آورد و زیربنای مدل‌های زبان بزرگ مدرن است.

History

انقلاب آماری دهه ۱۹۹۰ قوانین دست‌ساز را با مدل‌های احتمالی تخمین‌زده شده از پیکره‌ها جایگزین کرد. جاسازی‌های کلمه و شبکه‌های بازگشتی در اوایل دهه ۲۰۱۰، و به دنبال آن ترانسفورمر ۲۰۱۷ و مدل‌های بزرگ از پیش آموزش‌دیده، پیشرفت‌های سریعی را در تقریباً هر وظیفه‌ای ایجاد کردند و این رشته را حول نمایش‌های آموخته‌شده تغییر شکل دادند.

Debates

آیا مدل‌های عصبی زبان را درک می‌کنند؟

اینکه آیا مدل‌های عصبی بزرگ صلاحیت زبانی و معنای واقعی را به تصویر می‌کشند یا از آمارهای سطحی بهره‌برداری می‌کنند؛ این سؤال کار جاری در زمینه تفسیرپذیری و ارزیابی را هدایت می‌کند.

Key figures

• Christopher Manning
• Yoshua Bengio
• Ashish Vaswani
• Tomas Mikolov

Seminal works

• manning1999
• vaswani2017
• jurafsky2025

Frequently asked questions

آیا پردازش زبان طبیعی آماری اکنون که مدل‌های عصبی وجود دارند، منسوخ شده است؟

خیر. پردازش زبان طبیعی عصبی بر همان مبانی آماری — احتمال، تخمین و ارزیابی — استوار است و بسیاری از ایده‌ها مانند هموارسازی، طبقه‌بندی و مدل‌سازی زبان مستقیماً به محیط عصبی منتقل می‌شوند.