Stepwise Regression

İleriye doğru seçim boş bir modelle başlar ve her adımda en yüksek girme F'sine sahip tahminciyi ekler, kalan hiçbir değişken giriş eşiğini aşmadığında durur. Geriye doğru eleme, tüm p tahminciyle başlar ve her adımda en düşük kaldırma F'sine sahip tahminciyi kaldırır, tutulan tüm değişkenler kaldırma eşiğini aştığında durur. Çift yönlü stepwise seçim her iki geçişi birleştirir: her eklemeden sonra, daha önce dahil edilen herhangi bir değişkenin kaldırılıp kaldırılmaması gerektiğini ve tersini kontrol eder. Çift yönlü seçim genellikle saf ileriye doğru seçimden daha çok tercih edilir çünkü erken dahil etmeleri düzeltebilir, ancak her üç varyant da aynı seçim sonrası çıkarım sorunlarını paylaşır.

Standart p-değerleri, model yapısının veriler görülmeden önce sabit olduğunu varsayar. Stepwise regresyonda, veriler modelde hangi tahmin edicilerin görüneceğini seçmek için kullanılır ve ardından bu tahmincileri tahmin etmek ve test etmek için tekrar kullanılır. Bu çift kullanım, tutulan değişkenlerin görünen önemini artırır — bazen 'kazananın laneti' olarak adlandırılan bir etki. Simülasyon çalışmaları, gerçekte sıfır etkisi olan değişkenlerin stepwise orta örneklemlere uygulandığında düzenli olarak seçildiğini ve anlamlı göründüğünü göstermektedir. Bunun için veri bölme, bootstrap tabanlı doğrulama veya seçimi ve tahmini tek bir düzenlileştirilmiş optimizasyona dahil eden cezalı tahmin yöntemleri gereklidir.

Stepwise seçimi, (a) veri kümesinin aday sayısı ile karşılaştırıldığında büyük olduğu, (b) elde edilen modelin ayrılmış veya prospektif bir örneklem üzerinde doğrulanacağı ve (c) bireysel katsayılar hakkındaki çıkarımın amaç olmadığı tamamen tahmin edici uygulamalarda en savunulabilir durumdadır. Keşifsel çalışmalarda, shortlisted değişkenler yeni veriler üzerinde önceden belirlenmiş bir teyit edici modelde değerlendirildiği sürece, ön tarama aracı olarak hizmet edebilir. Nedensel çıkarım, belirli tahmin ediciler hakkındaki hipotez testi veya bildirilen p-değerlerinin olduğu gibi yorumlanacağı herhangi bir ayar için kullanılmamalıdır.

Geçerli çıkarım ile seyrek değişken seçimi için LASSO (Tibshirani, 1996) ve elastic net (Zou & Hastie, 2005) standart alternatiflerdir: seçimi ve tahmini tek bir cezalı kritere entegre ederler, ayarlama parametreleri çapraz doğrulama ile seçilir ve bootstrap güven aralıkları bildirilebilir. En iyi alt küme seçimi (modern algoritmalarla sistematik olarak incelenen), p çok büyük olmadığında kapsamlı bir alternatiftir. Teyit edici araştırmalar için doğru yaklaşım, verilerin tahmincileri seçmesine izin vermek yerine, veri toplama işleminden önce modeli teorik temellere göre belirlemektir.