Öz-denetimli Adlandırılmış Varlık Tanıma
Self-supervised Named Entity Recognition · Ayrıca şöyle bilinir: Self-supervised NER, SS-NER, label-efficient NER, pre-trained NER
Öz-denetimli adlandırılmış varlık tanıma (NER), metindeki adlandırılmış varlıkları tanımlamak ve sınıflandırmak için büyük ölçekli öz-denetimli ön eğitim (maskelenmiş dil modellemesi gibi) ile jeton düzeyinde ince ayarı birleştirir. Herhangi bir varlık etiketi görmeden önce genel dilsel temsilleri öğrenerek, model etiketlenmiş NER eğitim verisi kıt olduğunda bile güçlü performans gösterir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Metinden adlandırılmış varlıkları çıkarmanız gerektiğinde ancak sınırlı etiketlenmiş eğitim veriniz olduğunda, önceden eğitilmiş alana özgü modellerin mevcut olduğu özel alanlarda (biyomedikal, yasal, finansal) çalıştığınızda veya ek açıklamaya yatırım yapmadan önce güçlü kutudan çıktığı gibi performans istediğinizde öz-denetimli NER'yi kullanın. Mevcut önceden eğitilmiş modellerle İngilizce ve büyük dillerde üstündür. Hedef metin alanınız mevcut tüm önceden eğitilmiş modellerden keskin bir şekilde saptığında ve alana özgü uyarlamalı ön eğitim yapamayacaksanız, uyumluluk nedenleriyle tamamen yorumlanabilir kural tabanlı bir sistem istediğinizde veya çıkarım ortamınız büyük transformatör modellerini barındıramadığında bundan kaçının.
Güçlü yönler & sınırlılıklar
- Geleneksel denetimli modellere göre çok daha az etiketlenmiş örnekle son teknoloji NER performansı elde eder.
- Derin dilsel bağlamı yakalayan önceden eğitilmiş dil modellerini (BERT, RoBERTa, alana özgü varyantlar) kullanır.
- Uygun önceden eğitilmiş modeller mevcut olduğunda diller ve alanlar arasında etkili bir şekilde aktarılır.
- Alt kelime jetonlaması yoluyla morfolojik varyasyona ve kelime dışı varlık adlarına karşı dayanıklıdır.
- Sürekli iyileştirilebilir: daha iyi önceden eğitilmiş omurgalar, mimari değişiklikler olmadan NER performansını doğrudan iyileştirir.
- Çıkarım, CRF veya kural tabanlı sistemlere kıyasla hesaplama açısından pahalı olan büyük transformatör modelleri gerektirir.
- Hedef alan ön eğitim derleminden çok farklıysa ve alana özgü bir model mevcut değilse performans önemli ölçüde düşer.
- İnce ayar, öğrenme oranı ve yığın boyutuna duyarlıdır; kötü hiperparametre seçimleri, önceden eğitilmiş bilginin felaket unutulmasına neden olabilir.
- Alt kelime jetonlaması, tek bir kelimeyi bölen kelime düzeyindeki NER etiketleriyle tam olarak hizalanamayabilir ve veri işlem hattında dikkatli hizalama işleme gerektirebilir.
SSS
İnce ayar için ne kadar etiketlenmiş veriye ihtiyacım var?
Öz-denetimli NER, düşük kaynaklı ortamlarda parlar. Güçlü bir önceden eğitilmiş omurga ile yüz ila birkaç bin ek açıklamalı cümle yeterli olabilirken, geleneksel CRF tabanlı modeller tipik olarak on binlerce gerektirir. Kesin miktar, alan zorluğuna ve varlık türü çeşitliliğine bağlıdır.
Hangi önceden eğitilmiş modelle başlamalıyım?
Genel İngilizce metinler için BERT-base veya RoBERTa-base sağlam başlangıç noktalarıdır. Biyomedikal metinler için BioBERT veya PubMedBERT kullanın. Çok dilli ortamlar için XLM-RoBERTa kullanın. Her zaman hedef alanınıza yakın bir derlem üzerinde önceden eğitilmiş bir modeli tercih edin.
Transformatörün üzerine bir CRF katmanı kullanmalı mıyım?
Bir CRF çıktı katmanı geçerli BIO etiket geçişlerini zorlar ve özellikle küçük veri kümelerinde F1'i marjinal olarak iyileştirebilir. Ancak, modern transformatör kodlayıcıları genellikle basit bir doğrusal başlıkla karşılaştırılabilir sonuçlar elde eder, bu nedenle bir CRF kullanışlıdır ancak zorunlu değildir.
NER'yi doğru bir şekilde nasıl değerlendiririm?
Jeton düzeyinde doğruluk yerine varlık düzeyinde aralık-kesin F1'i (standart CoNLL değerlendirme betiği) kullanın. Aralık-kesin puanlama, bir varlığı yalnızca sınırları ve türü altın ek açıklamasıyla eşleştiğinde doğru olarak sayar - daha katı ve daha anlamlı bir ölçümdür.
Öz-denetimli NER, düşük kaynaklı diller için çalışabilir mi?
Evet, mBERT veya XLM-RoBERTa gibi çok dilli önceden eğitilmiş modeller kullanarak. Performans genellikle İngilizce'den daha düşüktür ancak sıfırdan eğitime göre önemli ölçüde daha iyidir. Çapraz dilli aktarım (yüksek kaynaklı bir dilde eğitim ve düşük kaynaklı bir dilde değerlendirme) de uygulanabilir.
Kaynaklar
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. link ↗
- Lample, G., Ballesteros, M., Subramanian, S., Kawakami, K., & Dyer, C. (2016). Neural Architectures for Named Entity Recognition. Proceedings of NAACL-HLT 2016, 260–270. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Self-supervised Named Entity Recognition. ScholarGate. https://scholargate.app/tr/deep-learning/self-supervised-named-entity-recognition
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Az sayıda örnekle öğrenmeMakine öğrenmesi↔ karşılaştır
- Adlandırılmış Varlık Tanıma (AVT)Metin madenciliği↔ karşılaştır