Model Kalibrasyonu
Probability Calibration of Classifiers · Ayrıca şöyle bilinir: Classifier Calibration, Probability Calibration, Score Calibration, Model Kalibrasyonu
Model kalibrasyonu, eğitilmiş bir sınıflandırıcının olasılık çıktılarını ayarlayarak tahmin edilen güven skorlarının ampirik sonuç frekanslarıyla eşleşmesini sağlayan, eğitim sonrası (post-hoc) bir tekniktir. Bir sınıflandırıcının, p güvenle yapılan tüm tahminler arasında, tam olarak p kesrinin doğru olması durumunda mükemmel şekilde kalibre edildiği söylenir. Modern derin sinir ağlarının sistematik yanlış kalibrasyonu, Guo ve ark. (2017) tarafından titizlikle belgelenmiştir; bu çalışma, standart çapraz entropi kaybı ile eğitilen ağların aşırı güvenli olma eğiliminde olduğunu göstermiş ve basit, etkili bir çözüm olarak sıcaklık ölçeklendirmeyi önermiştir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Tahmin edilen olasılıklar, tıbbi risk sınıflandırması, dolandırıcılık puanlama eşikleri veya maliyet-duyarlı sınıflandırıcılar gibi, nominal değerlerine bağlı olan aşağı akış kararlarını besleyecekse model kalibrasyonunu kullanın. Özellikle derin sinir ağları için önemlidir; Guo ve ark. (2017), model derinliği ve genişliği arttıkça bu ağların giderek daha fazla aşırı güvenli hale geldiğini göstermiştir. Kalibrasyon, temsili bir tutulan küme varsayar; kalibrasyon ve dağıtım dağılımları arasındaki dağılım kaymasını düzeltemez. Nokta olasılıkları yerine tahmin aralıkları gerektiğinde, bunun yerine konformal tahmini düşünün.
Güçlü yönler & sınırlılıklar
- Sıcaklık ölçeklendirme yalnızca bir parametre ekler ve sınıflandırma doğruluğunu azaltamaz, bu da onu son derece hafif yapar.
- ECE, düzeltme öncesi ve sonrası yanlış kalibrasyonu nicelendiren, yorumlanabilir, eyleme geçirilebilir bir teşhis sağlar.
- Eğitim sonrası kalibrasyon modelden bağımsızdır ve yeniden eğitim gerektirmeden herhangi bir önceden eğitilmiş sınıflandırıcıya uygulanabilir.
- İyi kalibre edilmiş olasılıklar, aşağı akış hatlarında güvenilir eşik seçimi ve beklenen değer hesaplamalarını mümkün kılar.
- Kalibrasyon, tutulan bir doğrulama kümesi gerektirir; küçük kalibrasyon kümeleri güvenilmez sıcaklık tahminleri üretir.
- Sıcaklık ölçeklendirme, tek bir global skalerin yeterli olduğunu varsayar, bu da yanlış kalibrasyonun sınıfa veya bölgeye özgü olduğu durumlarda başarısız olabilir.
- ECE, bölme sayısına ve genişliğine duyarlıdır, bu da standardizasyon olmadan çalışmalar arası karşılaştırmaları gürültülü hale getirir.
- Kalibrasyon, keskinliği veya ayırt edici yeteneği iyileştirmez; kötü ayırt edici bir model, kalibrasyondan sonra da öyle kalır.
SSS
Kalibrasyon, sınıflandırma doğruluğunu etkiler mi?
Sıcaklık ölçeklendirme, sınıf olasılıklarının sıralamasını değiştirmez, bu nedenle en iyi-1 doğruluğu değişmez. İzotonik regresyon gibi diğer kalibrasyon yöntemleri nadir durumlarda argmax tahminini değiştirebilir, ancak birincil hedefleri sınıflandırma doğruluğundan ziyade olasılık doğruluğudur ve herhangi bir doğruluk etkisi genellikle ihmal edilebilir düzeydedir.
Modelimin kalibrasyona ihtiyacı olup olmadığını nasıl anlarım?
Bir güvenilirlik diyagramı çizin: tahminleri güven bölmesine göre gruplandırın ve ortalama güveni ampirik doğruluğa karşı çizin. Mükemmel şekilde kalibre edilmiş bir model köşegeni takip eder. Köşegenin sürekli üzerinde olan bir eğri aşırı güveni; altında olan ise yetersiz güveni işaret eder. Tek bir özet istatistik olarak ECE'yi hesaplayın; yaklaşık 0.05'in üzerindeki değerler pratikte genellikle önemsiz olmayan yanlış kalibrasyon olarak kabul edilir.
Sıcaklık ölçeklendirme yerine ne zaman izotonik regresyon kullanmalıyım?
İzotonik regresyon, parametrik olmayan monoton bir fonksiyondur ve olasılık aralığı boyunca karmaşık, tekdüze olmayan yanlış kalibrasyonu yakalayabilir. Güvenilirlik diyagramı monoton olmayan veya düzensiz bir desen gösterdiğinde bunu tercih edin. Ancak, izotonik regresyonun güvenilir bir şekilde uyması için daha fazla veri gerekir ve kalibrasyon kümesi küçük olduğunda veya basitlik ve yorumlanabilirlik öncelikli olduğunda genellikle sıcaklık ölçeklendirme tercih edilir.
Kaynaklar
- Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017). On calibration of modern neural networks. International Conference on Machine Learning, 1321–1330. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 2). Probability Calibration of Classifiers. ScholarGate. https://scholargate.app/tr/machine-learning/model-calibration
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Konformal TahminMakine öğrenmesi↔ karşılaştır
- Lojistik RegresyonAraştırma istatistiği↔ karşılaştır
- Belirsizlik KuantifikasyonuSimülasyon↔ karşılaştır