Düzenli İfadeler ve Sonlu Durum Yöntemleri
Düzenli diller üzerine kurulu pratik teknikler — düzenli ifadelerle örüntü eşleştirme ve sonlu durum dönüştürücüleri ile dizgeden-dizgeye eşleme — belirteçleme (tokenization), normalleştirme ve morfolojik analizi verimli bir şekilde ele almaktadır.
Tanım
Sonlu durum yöntemleri, örüntülerin ve eşlemelerin düzenli ifadeler veya sonlu durum otomatları ve dönüştürücüleri olarak ifade edildiği, verimli doğrusal-zamanlı tanımayı garanti eden dil işleme teknikleridir.
Kapsam
Dizgeler üzerinde bir örüntü dili olarak düzenli ifadeleri, bunların hesaplamalı gerçeklemesi olarak sonlu durum otomatlarını ve dönüştürücülerini, ayrıca metin normalleştirmesi, belirteçleme (tokenization), yazım ve hesaplamalı morfolojiye uygulamalarını kapsamaktadır. Konuşma ve yüzeysel işlemede kullanılan ağırlıklı sonlu durum yöntemlerini içermektedir. Tam fonolojik kuram ve derin sözdizimsel ayrıştırma kapsam dışındadır.
Temel sorular
- Düzenli ifadeler metinsel örüntüleri nasıl hassas bir şekilde belirleyebilir ve çıkarabilir?
- Sonlu durum dönüştürücüleri, morfolojide olduğu gibi, yüzey biçimlerini sözcüksel analizlere nasıl eşler?
- Belirteçleme (tokenization) ve normalleştirme için neden sonlu durum yöntemleri tercih edilmektedir?
Anahtar kavramlar
- düzenli ifade
- sonlu durum dönüştürücüsü
- belirteçleme (tokenization)
- metin normalleştirmesi
- morfolojik analiz
- iki seviyeli morfoloji
- ağırlıklı otomatlar
- düzenleme mesafesi
Temel kuramlar
- Morfoloji ve Fonolojinin Düzenli Modelleri
- Fonolojik yeniden yazma kurallarının ve morfolojik değişimlerin sonlu durum dönüştürücülerine derlenebileceği sonucu, analiz ve üretimi tek bir verimli çerçeve haline getirmektedir.
- Düzenli İfadeler ve Sonlu Otomatların Eşdeğerliği
- Düzenli ifadeler, düzenli gramerler ve sonlu durum otomatları, düzenli dilleri tam olarak tanımlamaktadır; bu nedenle bildirimsel bir örüntü verimli bir tanıyıcıya derlenebilmektedir.
Tarihçe
Düzenli ifadeler, Kleene'nin çalışmalarıyla bilişime girmiş ve metin araçlarında yaygınlaşmıştır. 1980'lerde Koskenniemi'nin iki seviyeli morfolojisi ile Kaplan ve Kay'in fonolojik kuralları dönüştürücülere derlemesi, sonlu durum teknolojisini morfolojik işlemenin temel aracı olarak kurmuştur; bu yaklaşım Beesley ve Karttunen'in el kitabında pekiştirilmiştir.
Tartışmalar
- Sonlu durum yöntemleri ne kadar ölçeklenebilir?
- Sonlu durum teknikleri son derece verimli olmakla birlikte düzenli fenomenlerle sınırlıdır; tartışma, hangi dil işleme görevlerinin zengin istatistiksel veya sinirsel modellere kıyasla bu yöntemlerle en iyi şekilde hizmet görmeye devam ettiği üzerinedir.
Öne çıkan isimler
- Martin Kay
- Ronald Kaplan
- Kimmo Koskenniemi
- Lauri Karttunen
İlgili konular
Temel eserler
- kaplan1994
- beesley2003
Sıkça sorulan sorular
- Morfoloji için neden sadece bir arama tablosu yerine sonlu durum dönüştürücüsü kullanılmaktadır?
- Bir dönüştürücü, sistematik değişimleri kompakt bir şekilde kodlar ve daha önce hiç görmediği kelime biçimlerini analiz edebilir veya üretebilirken, bir tablo yalnızca içinde açıkça listelenen biçimleri saklamaktadır.