Hallucination Detection — LLM Çıktıları için Gerçek Tutarlılık Kontrolü

İçsel bir halüsinasyon, kaynak belgede bulunan bilgileri doğrudan çelişir — örneğin, bir özetin hastanın B ilacıyla tedavi edildiğini söylediği halde A ilacıyla tedavi edildiğini söylemesi. Dışsal bir halüsinasyon, kaynak tarafından desteklenmeyen veya çelişilmeyen bir bilgi ekler, örneğin girdide hiçbir yerde görünmeyen biyografik bir ayrıntı eklemek gibi. Ayrım önemlidir çünkü dışsal halüsinasyonlar basit bir çelişki kontrolüyle yakalanması daha zordur.

NLI tabanlı ve QA tabanlı doğrulama için bir referans kaynağa ihtiyacınız vardır. SelfCheckGPT yaklaşımı bir istisnadır: aynı istem için modelden birden fazla örnek çeker ve örnekler arası tutarlılığı gerçeklik için bir vekil olarak ele alır, bu nedenle harici bir referans gerekmez — ancak modeli birden çok kez çağırma yeteneğine ihtiyacınız vardır ve sonuçta elde edilen tutarlılık puanını dikkatlice yorumlamanız gerekir.

İyi tanımlanmış bir kaynak belgeniz varsa (örneğin, bir RAG işlem hattında veya özetleme görevinde), bir DeBERTa-MNLI modeli gibi bir NLI modeli doğal bir başlangıç noktasıdır ve iddia başına çıkarım etiketleri sağlar. Soru üretimi mümkünse, QA tabanlı doğrulama gerçek iddialar üzerinde daha hassas olabilir. Yalnızca kara kutu API erişiminiz varsa ve referans belgeniz yoksa, SelfCheckGPT uygun seçenektir. Yüksek riskli alanlarda, yöntemleri birleştirmek ve aralarında anlaşma gerektirmek yanlış negatifleri azaltır.

İnsan uzmanları tarafından bağlılık için etiketlenmiş referans-çıktı çiftlerinden oluşan etiketli bir veri kümesi altın standarttır. Tespit aracının tahminleri, iddia veya cümle düzeyinde hassasiyet, geri çağırma ve F1 kullanılarak bu etiketlerle karşılaştırılır. FactScore ve SummaC benchmark gibi yayınlanmış kıyaslamalar bu amaçla standartlaştırılmış değerlendirme setleri sağlar.