Phân tích cú pháp và Các hình thức ngữ pháp
Khôi phục cấu trúc ngữ pháp của câu bằng máy: các hình thức ngữ pháp mô tả các cấu trúc hợp lệ và các thuật toán tính toán chúng, từ cây thành phần đến đồ thị phụ thuộc.
Definition
Phân tích cú pháp là việc gán cấu trúc ngữ pháp bằng máy cho một chuỗi đầu vào theo một ngữ pháp; các hình thức ngữ pháp là các hệ thống được sử dụng để chỉ định cấu trúc nào là hợp lệ.
Scope
Bao gồm phân tích cú pháp trong ngôn ngữ học tính toán — phân tích cú pháp thành phần phi ngữ cảnh và các thuật toán dựa trên xác suất và biểu đồ của nó, phân tích cú pháp phụ thuộc, các hình thức ngữ pháp chính ngoài ngữ pháp phi ngữ cảnh đơn thuần, và các tác vụ gán nhãn chuỗi (như gán nhãn từ loại) cung cấp dữ liệu cho phân tích cú pháp. Nó không bao gồm diễn giải ngữ nghĩa, được xử lý trong ngữ nghĩa tính toán, và lý thuyết tự động cơ bản, được đề cập trong các nền tảng.
Sub-topics
Core questions
- Làm thế nào để gán một cây cú pháp hoặc đồ thị phụ thuộc cho một câu một cách hiệu quả?
- Những hình thức ngữ pháp nào nắm bắt được cú pháp ngôn ngữ tự nhiên một cách đầy đủ?
- Xác suất giúp phân biệt giữa nhiều cách phân tích cú pháp khả thi như thế nào?
- Gán nhãn và phân đoạn hỗ trợ phân tích cú pháp đầy đủ như thế nào?
Key concepts
- phân tích cú pháp thành phần
- phân tích cú pháp phụ thuộc
- ngữ pháp phi ngữ cảnh
- phân tích cú pháp biểu đồ
- ngữ pháp xác suất
- gán nhãn từ loại
- kho cây
- tính mơ hồ về cấu trúc
Key theories
- Phân tích cú pháp biểu đồ
- Các thuật toán lập trình động như CKY và Earley tính toán tất cả các phân tích khả thi của một câu trong thời gian đa thức bằng cách tái sử dụng các phân tích con được chia sẻ.
- Ngữ pháp phi ngữ cảnh xác suất
- Gán xác suất cho các quy tắc ngữ pháp để có thể chọn cách phân tích cú pháp có khả năng nhất, giải quyết tính mơ hồ về cấu trúc phổ biến của ngôn ngữ tự nhiên.
History
Phân tích cú pháp ban đầu dựa vào các ngữ pháp được xây dựng thủ công và tìm kiếm toàn diện; các thuật toán CKY và Earley đã làm cho phân tích cú pháp phi ngữ cảnh trở nên hiệu quả. Việc phát hành các kho cây (treebanks) vào những năm 1990 đã cho phép phân tích cú pháp xác suất dựa trên dữ liệu, và những năm 2000 chứng kiến sự nổi lên của phân tích cú pháp phụ thuộc vì tính mạnh mẽ đa ngôn ngữ của nó, sau này được thay thế bởi các bộ phân tích cú pháp thần kinh.
Debates
- Biểu diễn thành phần so với biểu diễn phụ thuộc
- Liệu cú pháp được biểu diễn tốt nhất dưới dạng các cụm từ lồng nhau hay dưới dạng các mối quan hệ đầu-phụ thuộc được gán nhãn; cả hai đều được sử dụng rộng rãi, với phụ thuộc được ưu tiên cho các ngôn ngữ có trật tự từ tự do và các tác vụ hạ nguồn.
Key figures
- Jay Earley
- Joakim Nivre
- Christopher Manning
- Mitchell Marcus
Related topics
Seminal works
- manning1999
- kubler2009
- jurafsky2025
Frequently asked questions
- Tại sao phân tích cú pháp lại khó nếu các quy tắc ngữ pháp đã biết?
- Các câu tự nhiên có tính mơ hồ rất lớn: một chuỗi duy nhất có thể có nhiều cấu trúc hợp lệ. Do đó, phân tích cú pháp không chỉ phải tìm ra các cấu trúc mà còn phải xếp hạng chúng, đó là lý do tại sao các mô hình xác suất và học máy là rất cần thiết.