Düzenlileştirilmiş Birleşik Öğrenme
Regularized Federated Learning (Proximal and Penalty-Based Approaches) · Ayrıca şöyle bilinir: FedProx, federated learning with regularization, proximal federated learning, penalized federated optimization
Düzenlileştirilmiş birleşik öğrenme (regularized federated learning), her istemcinin yerel amacına ceza terimleri ekleyerek, yerel güncellemeleri küresel modele daha yakın demirleyerek birleşik öğrenme çerçevesini genişletir. Kanonik formülasyon olan FedProx, herhangi bir istemcinin ne kadar sapabileceğini kontrol eden bir proksimal terim ekleyerek, istemci veri dağılımları önemli ölçüde farklılık gösterdiğinde yakınsamayı ve kararlılığı iyileştirir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Verilerin gizlilik, düzenleyici veya bant genişliği kısıtlamaları nedeniyle merkezileştirilemediği ve istemcilerin standart FedAvg'nin ıraksamasına veya yavaş yakınsamasına neden olan heterojen (bağımsız ve özdeş dağılımlı olmayan) veri dağılımlarına sahip olduğu durumlarda düzenlileştirilmiş birleşik öğrenmeyi kullanın. Her veri silosunun kısmi, alan kaydırmalı verilere sahip olduğu sağlık, finans ve mobil cihaz uygulamaları için uygundur. Verilerin merkezi olarak bir araya getirilebildiği durumlarda kullanmayın — merkezi eğitim daha basittir ve genellikle daha doğrudur. İstemci sayısı çok az olduğunda (beşten az) ve veri dağılımları neredeyse aynı olduğunda, standart FedAvg veya hatta tek bir küresel modelin yeterli olduğu durumlarda bundan kaçının.
Güçlü yönler & sınırlılıklar
- FedAvg'nin ıraksayabileceği istatistiksel heterojenlik (bağımsız ve özdeş dağılımlı olmayan veri) altında kanıtlanabilir şekilde yakınsar.
- Tasarım gereği gizliliği korur: ham veri asla istemciden ayrılmaz.
- Proksimal hiperparametre mu, yerel esnekliği küresel tutarlılıkla dengelemek için prensipli bir ayar düğmesi sağlar.
- Kısmi katılımı tolere eder — istemciler küresel modeli istikrarsızlaştırmadan daha az yerel adım tamamlayabilir.
- Çeşitli model türlerine uygulanabilir: sinir ağları, doğrusal modeller, gradyan tabanlı optimizasyonlu ağaç tabanlı modeller.
- Ayarlanması gereken bir hiperparametre (mu) ekler; yanlış seçim yakınsamayı yavaşlatabilir veya yanlı bir küresel model üretebilir.
- Turlar arası iletişim yükü, özellikle yüksek boyutlu modeller için büyük olabilir.
- Heterojenlik yanlılığını tamamen ortadan kaldırmaz — çok çarpık istemci dağılımları hala kişiselleştirme katmanları gerektirebilir.
- İstemcilerin gradyanları yerel olarak hesaplayabileceğini varsayar, bu da uygulanabilirliği farklılaştırılamayan modellere modifikasyon olmadan sınırlar.
SSS
FedProx, FedAvg'den nasıl farklıdır?
FedAvg, her istemciden yalnızca yerel kaybını minimize etmesini ister. FedProx, küresel modelden sapmayı cezalandıran, istemci sapmasını sınırlayan bir proksimal terim ekler. Bu, istemcilerin çok farklı verilere sahip olduğu durumlarda FedProx'u daha kararlı hale getirir, ancak fazladan bir hiperparametre (mu) maliyetiyle.
Proksimal katsayı mu'yu nasıl seçerim?
Yaygın bir uygulama, ayrılmış bir küresel doğrulama seti kullanarak veya turlar arası yakınsama hızını izleyerek küçük bir ızgara (örneğin, 0.001, 0.01, 0.1, 1) üzerinde arama yapmaktır. Yüksek heterojenlik altında daha büyük mu daha güvenlidir; daha küçük mu daha fazla yerel adaptasyona izin verir.
Düzenlileştirilmiş birleşik öğrenme diferansiyel gizliliği garanti eder mi?
Hayır. Proksimal terim yakınsama kararlılığını artırır ancak resmi gizlilik garantileri eklemez. Diferansiyel gizlilik için, ayrıca gradyanları kırpmanız ve toplama öncesinde her istemcide kalibre edilmiş Gauss veya Laplace gürültüsü enjekte etmeniz gerekir.
Karar ağaçları gibi farklılaştırılamayan modellerle düzenlileştirilmiş birleşik öğrenmeyi kullanabilir miyim?
Standart proksimal formülasyon, gradyan tabanlı yerel optimizasyon gerektirir. Ağaç tabanlı modeller için özel birleşik ağaç algoritmaları (örneğin, birleşik gradyan artırma) mevcuttur, ancak standart FedProx çerçevesi doğrudan uygulanmaz.
Kişiselleştirilmiş birleşik öğrenmeyi düzenlileştirilmiş birleşik öğrenmeye ne zaman tercih etmeliyim?
İstemci dağılımları o kadar heterojen olduğunda ki tek bir küresel model herhangi bir bireysel istemci için kötü bir uyum sağladığında, kişiselleştirilmiş yaklaşımlar (örneğin, istemci başına ince ayar, MAML tabanlı meta-öğrenme) tercih edilir. Düzenlileştirilmiş birleşik öğrenme, istemci başına modelleri değil, iyi bir tek küresel modeli hedefler.
Kaynaklar
- Li, T., Sahu, A. K., Zaheer, M., Sanjabi, M., Talwalkar, A., & Smith, V. (2020). Federated Optimization in Heterogeneous Networks. Proceedings of Machine Learning and Systems (MLSys), 2, 429–450. link ↗
- McMahan, B., Moore, E., Ramage, D., Hampson, S., & y Arcas, B. A. (2017). Communication-Efficient Learning of Deep Networks from Decentralized Data. Proceedings of the 20th International Conference on Artificial Intelligence and Statistics (AISTATS), PMLR 54, 1273–1282. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Regularized Federated Learning (Proximal and Penalty-Based Approaches). ScholarGate. https://scholargate.app/tr/machine-learning/regularized-federated-learning
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Federated LearningGizlilik↔ karşılaştır
- Çevrimiçi ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Regülerize Gradyan YükseltmeMakine öğrenmesi↔ karşılaştır
- Düzenlileştirilmiş Lojistik RegresyonMakine öğrenmesi↔ karşılaştır
- Yarı denetimli ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Transfer LearningMakine öğrenmesi↔ karşılaştır