Regularized LightGBM
Regularized Light Gradient Boosting Machine · Ayrıca şöyle bilinir: LightGBM with L1/L2 regularization, penalized LightGBM, LightGBM ridge/lasso, regularized LGBM
Regularized LightGBM, Microsoft'ın oldukça verimli bir gradyan artırma (gradient boosting) çerçevesi olan LightGBM'in yaprak ağırlığı (leaf weight) hedef fonksiyonuna L1 (lasso) ve L2 (ridge) ceza terimleri uygulayarak model karmaşıklığını kontrol eder, aşırı uyumu (overfitting) azaltır ve yüksek boyutlu veya gürültülü özellik kümelerine sahip tablo sınıflandırma ve regresyon görevlerinde genelleştirmeyi iyileştirir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Orta ila büyük boyutlu tablo veri kümelerine, çok sayıda (gereksiz, ilişkili veya zayıf bilgilendirici olanlar dahil) özelliğe sahip olduğunuzda ve kontrollü genelleştirme ile güçlü tahmin performansı gerektiğinde Regularized LightGBM'i kullanın. Özellikle temel LightGBM veya XGBoost aşırı uyum belirtileri gösterdiğinde (eğitim skoru doğrulama skorunun oldukça üzerinde olduğunda) değerlidir. Düzenlileştirme, gürültülü etiketlerle veya özellik-örnek oranı yüksek olduğunda da yardımcı olur. Tamamen yorumlanabilir bir model ve açık katsayılar gerektiren durumlarda veya veri kümeniz çok küçük olduğunda (yaklaşık 100 satırın altında), düzenlileştirme hiperparametrelerinin güvenilir bir şekilde ayarlanamadığı ve daha basit cezalandırılmış modellerin (ridge veya lasso regresyonu gibi) tercih edildiği durumlarda bundan kaçının.
Güçlü yönler & sınırlılıklar
- Doğrudan hedef fonksiyona kodlanmış düzenlileştirme terimleri, yaprak ağırlığı büyüklüğü ve model seyreltikliği (sparsity) üzerinde hassas kontrol sağlar.
- LightGBM'in GOSS ve EFB algoritmaları, önceki artırma çerçevelerine göre eğitim süresini kat kat hızlandırarak, milyonlarca satırda bile düzenlileştirmeyi uygun maliyetli hale getirir.
- Yüksek boyutlu özellik uzaylarını iyi idare eder: L1 düzenlileştirmesi, bilgilendirici olmayan yaprak ağırlıklarını sıfırlayarak örtük özellik seçimi sağlar.
- Erken durdurma, lambda parametrelerinden bağımsız ek bir düzenlileştirme mekanizması olarak işlev gören bir doğrulama metriğine karşı desteklenir.
- Tek seferlik kodlama (one-hot encoding) gerektirmeden eksik değerler ve kategorik özelliklerle yerel olarak çalışır.
- Düzenlileştirme gücü (lambda_l1, lambda_l2), öğrenme oranı, ağaç derinliği ve min_child_samples ile birlikte ayarlanmalıdır — bu da hiperparametre arama karmaşıklığını artırır.
- Sonuçların doğrudan açıklanması zordur; paydaşlara yönelik herhangi bir yorumlama için SHAP veya LIME gibi sonradan (post-hoc) araçlar gereklidir.
- Yaprak düzeyinde düzenlileştirme, özellik uzayında seyreltikliği garanti etmez; açık özellik seçimi hala gerekebilir.
- Çok küçük veri kümelerinde, çapraz doğrulama (cross-validation) katları sinyali düzenlileştirme artefaktlarından güvenilir bir şekilde ayırt etmek için yeterli değildir.
SSS
LightGBM'deki lambda_l1 ve lambda_l2 arasındaki fark nedir?
lambda_l2 (ridge), karesel yaprak ağırlıklarını cezalandırır ve tüm ağırlıkları herhangi birini ortadan kaldırmadan yumuşak bir şekilde sıfıra doğru küçültür. lambda_l1 (lasso), mutlak yaprak ağırlıklarını cezalandırır ve bazılarını tam olarak sıfıra indirebilir, daha seyrek bir model üretir. Pratikte, her ikisi de birleştirilebilir ve doğru denge, seyreltikliğin mi yoksa yumuşak küçültmenin mi daha çok istendiğine bağlıdır.
Düzenlileştirilmiş LightGBM, düzenlileştirilmiş XGBoost'tan nasıl farklıdır?
Her ikisi de yaprak ağırlıklarında L1 ve L2 düzenlileştirmesini destekler ve benzer hedef formülasyonları kullanır (Chen & Guestrin 2016'da açıklandığı gibi). Ana fark, büyük veri kümelerinde çok daha hızlı olan LightGBM'in GOSS ve EFB eğitim algoritmaları ve histogram tabanlı bölünme bulma yöntemidir. Düzenlileştirme davranışı temelde eşdeğerdir; seçim veri kümesi boyutuna ve ekosistem tercihlerine bağlıdır.
Erken durdurmaya ek olarak düzenlileştirme kullanmalı mıyım?
Evet — bunlar birbirini tamamlayıcıdır. Erken durdurma çok fazla ağaç eklenmesini önler (iterasyon boyutunda model karmaşıklığını kontrol ederken), L1/L2 düzenlileştirmesi ise bireysel ağaç ağırlıklarının büyüklüğünü kontrol eder. Her ikisini birlikte kullanmak genellikle tek başına kullanmaktan daha iyi performans gösterir.
Düzenlileştirme hiperparametrelerini nasıl ayarlayabilirim?
lambda_l1 ve lambda_l2 için (örneğin, 0.0 ila 10.0) log-ölçekli bir grid üzerinde rastgele arama veya Bayes optimizasyonu gibi bir arama stratejisi kullanarak çapraz doğrulama ve tutulan bir doğrulama katı kullanın. Her zaman öğrenme oranı ve min_child_samples ile birlikte ayarlayın.
Düzenlileştirilmiş LightGBM, ridge veya lasso regresyonunun yerini alabilir mi?
Doğrudan değil. Ridge ve lasso regresyonu, raporlanması ve yorumlanması kolay açık doğrusal katsayılar üretir. Düzenlileştirilmiş LightGBM, doğrudan katsayı çıktısı olmayan doğrusal olmayan bir topluluktur. Tablo verilerinde tipik olarak daha iyi tahmin doğruluğu elde eder ancak etki büyüklüğü raporlaması gerektiren bağlamlarda cezalandırılmış doğrusal modellerin yorumlanabilirliğinin yerini alamaz.
Kaynaklar
- Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q., & Liu, T.-Y. (2017). LightGBM: A highly efficient gradient boosting decision tree. Advances in Neural Information Processing Systems, 30, 3146–3154. link ↗
- Chen, T., & Guestrin, C. (2016). XGBoost: A scalable tree boosting system. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 785–794. DOI: 10.1145/2939672.2939785 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Regularized Light Gradient Boosting Machine. ScholarGate. https://scholargate.app/tr/machine-learning/regularized-lightgbm
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- CatBoostMakine öğrenmesi↔ karşılaştır
- Gradyan ArtırmaMakine öğrenmesi↔ karşılaştır
- LightGBMMakine öğrenmesi↔ karşılaştır
- Regülerize Gradyan YükseltmeMakine öğrenmesi↔ karşılaştır