Model Seçimi ve Tanılama
Model seçimi ve tanılaması, bir regresyon modelinin hangi öngörücüleri içermesi gerektiğine ve kurulan modelin güvenilir olup olmadığına karar veren adımlardır. Seçim, öngörücüleri belirler ve yapılandırır; tanılama, artıkları, etkili gözlemleri ve varsayımları inceler; ve doğrulama (validasyon), modelin oluşturulmadığı veriler üzerinde performans gösterip göstermediğini kontrol eder. Bunlar birlikte, aşırı uyum (overfitting) ve yanıltıcı sonuçlara karşı koruma sağlamaktadır.
Tanım
Model seçimi, bir regresyon modeline hangi öngörücülerin ve fonksiyonel formların dahil edileceğine karar verme sürecidir; model tanılaması ise, kurulan modelin varsayımlarını karşılayıp karşılamadığını ve yeterli performans gösterip göstermediğini değerlendirmek için kullanılan prosedürlerdir — bunlar artık analizi, etki ölçütleri, uyum iyiliği ve kalibrasyon değerlendirmesi ile doğrulamayı (validasyon) içermektedir.
Kapsam
Bu madde, bir regresyon modeli oluşturma stratejilerini (adım adım ve tam model yaklaşımları ile veri odaklı seçimin tehlikeleri dahil olmak üzere), varsayımları kontrol etmek için artık ve etki tanılamalarını, ayrımcılık (discrimination) ve kalibrasyon gibi uyum ve öngörü performans ölçütlerini, ve içsel (internal) ve dışsal (external) doğrulamayı (validasyon) ele almaktadır. Bu, doğrusal ve lojistik modeller genelinde uygulanmakta olup, klinik bir rehberlik değil, metodolojik bir konudur.
Temel sorular
- Öngörücüler nasıl seçilir ve otomatik adım adım seçim neden eleştirilmektedir?
- Artıklar ve etkili gözlemler bir modeli kontrol etmek için nasıl kullanılmaktadır?
- Ayrımcılık ve kalibrasyon arasındaki fark nedir?
- Bir tahmin modeli, yalnızca oluşturulduğu veriler üzerinden değerlendirilmek yerine neden doğrulanmalıdır?
- Aşırı uyum ve iyimserlik, görünen performansı nasıl bozmaktadır?
Anahtar kavramlar
- Değişken (öngörücü) seçimi
- Adım adım seçim ve tuzakları
- Artık analizi
- Etkili gözlemler ve kaldıraç (leverage)
- Uyum iyiliği
- Ayrımcılık ve kalibrasyon
- Aşırı uyum ve iyimserlik
- İçsel ve dışsal doğrulama
Mekanizmalar
Bir regresyon modeli oluşturmak, hangi öngörücülerin, hangi biçimde dahil edileceğini ve etkileşimlere ihtiyaç olup olmadığını seçmeyi içermektedir; anlamlılığa göre öngörücüleri ekleyen veya çıkaran otomatik adım adım (stepwise) prosedürler, şansa dayalı olmaları, kararsız modeller üretmeleri ve iyimser tahminler vermeleri nedeniyle yaygın olarak eleştirilmektedir. Tanılama daha sonra kurulan modeli inceler: artık grafikleri doğrusallıktan sapmaları ve sabit olmayan varyansı ortaya koymaktadır, ve etki ölçütleri, uyumu orantısız bir şekilde etkileyen gözlemleri belirlemektedir. Performans, uyum iyiliği ve tahmin için ise ayrımcılık (modelin sonuçları ne kadar iyi ayırdığı) ve kalibrasyon (tahmin edilen ve gözlemlenen risklerin ne kadar yakından uyuştuğu) ile değerlendirilmektedir. Aynı veriler üzerinde kurulan ve değerlendirilen bir model, gerçekte olduğundan daha iyi göründüğü için (aşırı uyumdan kaynaklanan iyimserlik), dürüst performansı tahmin etmek için içsel doğrulama (örneğin yeniden örnekleme) ve ideal olarak yeni veriler üzerinde dışsal doğrulama gerekmektedir.
Klinik önem
Tanısal ve prognostik modeller, klinik risk iletişiminin büyük bir kısmını bilgilendirmektedir, ve böyle bir modelin uygun şekilde seçilip, kontrol edilip doğrulanmış olması, tahminlerinin ne kadar ağırlık taşıması gerektiğini belirlemektedir. Bu adımları değerlendirmek, tahmin modeli çalışmalarını okumanın bir parçasıdır. Bu madde yöntemleri tanımlamakta olup, bireysel tanı veya tedavi kararları için bir temel teşkil etmemektedir.
Kanıt ve kılavuzlar
TRIPOD bildirisi, çok değişkenli tahmin modelleri geliştiren veya doğrulayan çalışmalar için raporlama standartları sunmaktadır, ve BMJ prognostik araştırma serisi, bu tür modellerin oluşturulması, doğrulanması ve raporlanması için önerilen uygulamaları ortaya koymaktadır. Harrell'in metni, veri odaklı seçimden kaçınmayı ve iyimserliği nicelendirmeyi vurgulayan eksiksiz bir model oluşturma ve doğrulama stratejisini detaylandırmaktadır.
Tarihçe
Regresyonun tıp araştırmalarında merkezi bir hale gelmesiyle, veri odaklı öngörücü seçimi ve kontrolsüz uyumlaştırmanın, geliştirme aşamasında etkileyici görünen ancak yeni hastalarda başarısız olan modeller ürettiği endişesi artmıştır. 1990'lardan itibaren metodologlar, tanılama, içsel ve dışsal doğrulama ile ayrımcılık ve kalibrasyon arasındaki ayrıma vurgu yapmışlardır; bu durum, tahmin modeli çalışmaları için, özellikle TRIPOD bildirisi olmak üzere, konsensüs raporlama rehberliğinde doruğa ulaşmıştır.
Tartışmalar
- Öngörücüler otomatik adım adım seçimle mi belirlenmelidir?
- Anlamlılık testleriyle yönlendirilen adım adım seçim, aşırı uyuma neden olduğu, kararsız öngörücü kümeleri ürettiği ve iyimser yanlı tahminler verdiği için yaygın olarak önerilmemektedir; konu bilgisiyle desteklenen, küçültme (shrinkage) ve uygun doğrulama içeren önceden belirlenmiş modeller genellikle tercih edilmektedir.
- Dışsal doğrulama, tahmin modelleri için neden temel kabul edilmektedir?
- Yalnızca geliştirme verileri üzerinde değerlendirilen bir model, aşırı uyum nedeniyle olduğundan daha iyi görünmektedir; tahminlerin genellenebilir olup olmadığını değerlendirmek için bağımsız veriler üzerindeki performans gereklidir, bu nedenle raporlama standartları doğrulamayı vurgulamaktadır.
Öne çıkan isimler
- Frank Harrell
- Douglas Altman
- Karel Moons
- Patrick Royston
- Gary Collins
İlgili konular
Temel eserler
- harrell-2015
- collins-2015-tripod
Sıkça sorulan sorular
- Ayrımcılık ve kalibrasyon arasındaki fark nedir?
- Ayrımcılık, bir modelin sonucu olan ve olmayan bireyleri ne kadar iyi ayırdığıdır; kalibrasyon ise modelin tahmin edilen olasılıklarının gözlemlenen frekanslarla ne kadar yakından eşleştiğidir. Bir model iyi ayrımcılık yapabilir ancak kalibrasyonu kötü olabilir, bu nedenle her ikisi de değerlendirilmelidir.
- Adım adım değişken seçimi neden önerilmemektedir?
- Otomatik adım adım seçim, şansa dayalı ilişkilerden faydalanır, örneklemler arasında değişen kararsız öngörücü kümeleri üretir ve iyimser yanlı katsayılar ve performans sağlar, bu nedenle uygun doğrulama içeren önceden belirlenmiş modeller genellikle tercih edilmektedir.