Sözdizimsel Bileşen ve Bağlamdan Bağımsız Ayrıştırma
Bağlamdan bağımsız dilbilgileri, CKY ve Earley gibi dinamik programlama algoritmaları ve belirsizliği gideren olasılıksal dilbilgileri kullanarak bir cümlenin sözdizimsel yapı ağacını hesaplama.
Tanım
Sözdizimsel bileşen ayrıştırma, bir cümleye bir bağlamdan bağımsız dilbilgisine göre iç içe geçmiş bir sözdizimsel yapı ağacı atar ve genellikle olasılıksal bir dilbilgisi altında en olası ağacı seçer.
Kapsam
Bağlamdan bağımsız dilbilgileri ile ayrıştırmayı kapsar: CKY ve Earley algoritmaları, Chomsky normal formu, olasılıksal bağlamdan bağımsız dilbilgileri ve bunların sözcükselleştirilmiş (lexicalized) iyileştirmeleri ile ağaçbankası (treebank) ile eğitilmiş istatistiksel ayrıştırıcılar. Belirsizlik giderme ve ayrıştırıcı değerlendirmesi konularını ele almaktadır. Bağımlılık gösterimleri ve bağlamdan bağımsız olmayan biçimcilikler ilgili diğer konularda incelenmektedir.
Temel sorular
- CKY algoritması bir cümleyi kübik zamanda nasıl ayrıştırır?
- Dilbilgileri neden genellikle önce Chomsky normal formuna dönüştürülmelidir?
- Olasılıksal ve sözcükselleştirilmiş dilbilgileri belirsizliği gidermeyi nasıl iyileştirir?
- Ayrıştırıcı doğruluğu bir ağaçbankasına (treebank) karşı nasıl ölçülür?
Anahtar kavramlar
- bağlamdan bağımsız dilbilgisi
- CKY algoritması
- Earley algoritması
- Chomsky normal formu
- olasılıksal bağlamdan bağımsız dilbilgisi
- sözcükselleştirme (lexicalization)
- ayrıştırma ağacı
- ağaçbankası (treebank)
Temel kuramlar
- Dinamik programlama ile ayrıştırma
- CKY ve Earley algoritmaları, alt bileşenlerin bir çizelgesini (chart) doldurarak tüm ayrıştırmaları polinom zamanda hesaplar ve basit aramanın üstel patlamasını önler.
- Sözcükselleştirilmiş olasılıksal ayrıştırma
- Kural olasılıklarını baş kelimelere koşullandırmak, düz PCFG'lerde bulunmayan sözcüksel tercihleri yakalayarak ayrıştırma doğruluğunu önemli ölçüde artırır.
Tarihçe
CKY algoritması (1960'lar) ve Earley'in 1970 algoritması, verimli bağlamdan bağımsız tanıma sağlamıştır. Penn Treebank ile birlikte, Collins ve Charniak'ın olasılıksal ve ardından sözcükselleştirilmiş ayrıştırıcıları, 1990'ların sonlarında yüksek doğruluk elde ederek, sinirsel modellerden önceki istatistiksel ayrıştırma çağını tanımlamıştır.
Tartışmalar
- Ne kadar sözcükselleştirme gereklidir?
- Sözcükselleştirilmiş ayrıştırıcılar doğru ancak seyrektir; tartışma, dikkatli durum bölme (state-splitting) ile sözcükselleştirilmemiş PCFG'lerin bunlara yetişip yetişemeyeceği üzerindeydi ve sonraki çalışmalar bunun kısmen mümkün olduğunu göstermiştir.
Öne çıkan isimler
- Jay Earley
- Michael Collins
- Eugene Charniak
İlgili konular
Temel eserler
- earley1970
- collins2003
Sıkça sorulan sorular
- Ayrıştırmada çizelge (chart) nedir?
- Çizelge, cümlenin her bir aralığında bulunan her kısmi bileşeni depolayan bir tablodur, böylece paylaşılan alt yapılar bir kez hesaplanır ve yeniden kullanılır, bu da polinom zamanda ayrıştırma sağlar.