Doğal Dil İşleme
Doğal dil işleme, bilgisayarların metin veya konuşma halindeki insan dilini analiz etmesini, anlamasını ve üretmesini sağlayan yapay zeka alanıdır.
Tanım
Doğal dil işleme, bilgisayarların insan dili ile dilin biçim ve anlamının yapılandırılmış temsilleri arasında eşleme yapmasını sağlayan yöntemlerin incelenmesi ve mühendisliğidir; bu, ayrıştırma ve çeviriden çıkarım ve üretime kadar çeşitli görevleri desteklemektedir.
Kapsam
Bu alan, insan dilinin morfoloji ve sözdizimi (ayrıştırma), anlambilim ve anlam temsili, söylem gibi yapısal düzeylerinde hesaplamalı olarak ele alınmasını ve makine çevirisi ile bilgi çıkarımı gibi uygulamaları kapsamaktadır. Dilin biçimsel modellerini (dilbilgisi kuralları, mantıksal ve dağılımsal anlam temsilleri) ve dili analiz etme ve üretme görevlerini ele almaktadır. Modern dil modellerini eğiten genel istatistiksel ve sinirsel öğrenme yöntemleri, makine öğrenimi alt alanının bir parçasıdır; bu alan, dile özgü dilbilimsel yapıya, görevlere ve temsiliyetlere vurgu yapmaktadır.
Alt konular
Temel sorular
- Bir cümlenin dilbilgisel yapısı, kelime dizisinden nasıl geri kazanılmaktadır?
- Kelimelerin, cümlelerin ve söylemin anlamı hesaplamalı olarak nasıl temsil edilebilmektedir?
- Dilin her düzeyinde yaygın olan belirsizlik, bağlam kullanılarak nasıl çözülmektedir?
- Dil anlama yetenekleri, çeviri ve çıkarım gibi uygulamalara nasıl dönüştürülmektedir?
Anahtar kavramlar
- morfoloji ve belirteçlere ayırma (tokenization)
- sözdizimi ve ayrıştırma
- anlambilim ve anlam temsili
- belirsizlik ve belirsizliği giderme
- söylem ve edimbilim (pragmatics)
- dil modelleri
- makine çevirisi
- bilgi çıkarımı
Temel kuramlar
- Dilbilimsel analiz düzeyleri
- Dil, farklı ancak etkileşimli düzeylerde (fonoloji, morfoloji, sözdizimi, anlambilim, edimbilim ve söylem) analiz edilmektedir ve doğal dil işleme sistemleri, bu düzeylerde yapı ve anlamı geri kazanma etrafında organize edilmektedir.
- Dilbilgisi kuralları ve ayrıştırma
- Biçimsel dilbilgisi kuralları, özellikle bağlamdan bağımsız ve daha zengin biçimcilikler, dilin sözdizimsel yapısını modellemektedir ve ayrıştırma algoritmaları bu yapıyı geri kazanarak anlam analizi için bir omurga sağlamaktadır.
- İstatistiksel ve dağılımsal dil modellemesi
- Dili olasılıksal olarak ele almak — kelime dizilerinin olasılığını modellemek ve kelime anlamını dağılımsal bağlamla temsil etmek — doğal dil işlemeye belirsizliğe ve varyasyona karşı sağlamlık kazandırmış ve baskın paradigma haline gelmiştir.
Klinik önem
Doğal dil işleme, arama motorlarını, makine çevirisini, soru yanıtlama ve sohbet sistemlerini, konuşma tanıma ve diyalogu, duygu analizini ve biyotıp ve hukuk gibi alanlarda metinden yapılandırılmış bilgi çıkarımını güçlendirmektedir; bu da onu yapay zekanın en görünür şekilde kullanılan alanlarından biri haline getirmektedir.
Tarihçe
Doğal dil işleme, 1950'lerdeki makine çevirisi ve Winograd'ın SHRDLU'su gibi 1960'lar-70'lerin sembolik sistemleriyle başlamıştır. İstatistiksel yöntemler 1980'lerin sonlarından itibaren önem kazanmış, Manning ve Schütze (1999) gibi metinlerde pekiştirilmiş ve daha sonra sinirsel ve büyük ölçekli dil modeli yöntemleri alanı dönüştürmüştür; görevleri ve dilbilimsel temelleri yapay zekanın standart bir parçası olmaya devam etmektedir.
Tartışmalar
- Sembolik yaklaşımlara karşı istatistiksel ve sinirsel yaklaşımlar
- Doğal dil işleme, el yapımı sembolik dilbilgisi kuralları ve kurallar ile veri odaklı istatistiksel veya sinirsel modeller arasında uzun süredir gidip gelmektedir; istatistiksel dönüş ve daha sonra sinirsel yöntemler, sağlamlık açısından baskın hale gelmiş olsa da, yorumlanabilirlik ve dilbilimsel yapıyı dahil etme soruları devam etmektedir.
Öne çıkan isimler
- Daniel Jurafsky
- James H. Martin
- Christopher D. Manning
- Terry Winograd
- Karen Spärck Jones
İlgili konular
Temel eserler
- winograd1972
- manning1999
- jurafsky2023
Sıkça sorulan sorular
- Doğal dil işleme ile hesaplamalı dilbilim arasındaki fark nedir?
- Terimler büyük ölçüde örtüşmektedir. Hesaplamalı dilbilim, insan dilini bilimsel bir fenomen olarak anlamak ve modellemek için hesaplamayı kullanmaya vurgu yaparken, doğal dil işleme, faydalı dil görevlerini yerine getiren sistemlerin mühendisliğine vurgu yapmaktadır. Pratikte aynı modeller ve yöntemler her iki amaca da hizmet etmektedir.
- Belirsizlik neden doğal dil işlemede bu kadar merkezi bir sorundur?
- İnsan dili her düzeyde belirsizdir: kelimelerin birden fazla anlamı vardır, cümlelerin birden fazla ayrıştırma şekli vardır ve referanslar belirsiz olabilmektedir. Doğal dil işlemenin büyük bir kısmı, bir insanın yapacağı yorumu seçmek için bağlamı ve olasılıksal veya öğrenilmiş modelleri kullanmakla ilgilidir, bu da alanı zorlaştıran şeydir.