Sağlam Federe Öğrenme
Robust Federated Learning (Byzantine-Tolerant Distributed Training) · Ayrıca şöyle bilinir: Byzantine-robust federated learning, fault-tolerant federated learning, robust FL, Byzantine-tolerant distributed learning
Robust Federated Learning, standart federated learning'i, kötü niyetli, bozuk veya güvenilmez istemcilere karşı küresel modeli koruyan Kseniyacı toleranslı toplama kurallarıyla genişletir. İstemci gradyanlarını basitçe ortalamak yerine, koordinat bazında medyan veya Krum gibi sağlam toplama yöntemleri, zararlı güncellemeleri filtreleyerek düşmanca katılımcıların küçük bir azınlığının eğitimi raydan çıkarmasını engeller.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Verilerin gizlilik, düzenleyici veya bant genişliği kısıtlamaları nedeniyle istemci cihazlarından veya kurumlarından ayrılamadığı VE istemci popülasyonunun güvenilmez, tehlikeye girmiş veya düşmanca katılımcıları içerebileceği durumlarda Robust Federated Learning kullanın — örneğin, cihazlar arası mobil uygulamalar, hastane konsorsiyumları veya IoT dağıtımları. Veri zehirlenmesi veya azınlık istemcileri etkileyen Kseniyacı hatalar içeren tehdit modeli için doğru seçimdir. Tüm istemcilerin güvenilir olduğu ve verilerin merkezi olarak toplandığı durumlarda kullanmayın — merkezi eğitim daha basittir, daha hızlıdır ve doğrulanması daha kolaydır. Kseniyacı istemcilerin kesrinin bilinmediği ve seçilen toplama kuralının tolerans eşiğini (genellikle yarıdan az) aşabileceği durumlarda kaçının, çünkü bu rejimde sağlamlık garantileri bozulur.
Güçlü yönler & sınırlılıklar
- Küresel modeli tehlikeye atmadan sınırlı bir Kseniyacı veya kötü niyetli istemci kesrine kanıtlanabilir şekilde tolerans gösterir.
- İstemci verilerinin gizliliğini korur: ham veriler asla istemciden ayrılmaz, yalnızca gradyan güncellemeleri paylaşılır.
- Ek gizlilik garantileri için diferansiyel gizlilik mekanizmalarıyla (gradyan kırpma ve gürültü ekleme) uyumludur.
- İstemciler arasında yüksek derecede heterojen, non-IID veri dağılımlarına uygulanabilir.
- Modüler: sağlam toplama kuralı, tehdit modeline uyacak şekilde değiştirilebilir (medyan, Krum, Bulyan, kırpılmış ortalama).
- Asenkron veya kısmi katılım protokolleriyle çok sayıda istemciye ölçeklenir.
- Sağlam toplama kuralları, standart FedAvg'ye kıyasla etkili sinyali azaltır ve yakınsamayı yavaşlatır.
- Sağlamlık garantileri yalnızca Kseniyacı istemcilerin sınırlı bir kesrine kadar geçerlidir; eğer saldırganlar bu kesri aşarsa, model hala bozulabilir.
- İstemciler arasındaki non-IID veri dağılımları, saldırılar olmasa bile doğruluğu düşürür ve sağlam toplama bu heterojenlik sorununu tam olarak çözmez.
- Tur başına iletişim yükü yüksektir; sıkıştırma veya seyrekleştirme eklemek, sağlamlık garantileriyle kötü etkileşime girebilir.
- Model kalitesini değerlendirmek zordur: tüm istemcilerdeki gerçek veri dağılımını yansıtan merkezi bir doğrulama kümesi yoktur.
SSS
Robust FL ne kadar Kseniyacı istemci kesrini tolere edebilir?
Çoğu sağlam toplama kuralı (Krum, koordinat bazında medyan, kırpılmış ortalama), Kseniyacı istemcilerin yarısından azı olduğunda garanti sağlar. Kesin eşik kurala bağlıdır: Krum, n katılımcı arasında (n-2)/2'ye kadar Kseniyacı istemciye tolerans gösterir. Eğer saldırganlar tolerans eşiğini aşarsa, sağlamlık garantileri artık geçerli olmaz.
Robust FL gizliliği Kseniyacı istemciler kadar iyi korur mu?
Kseniyacı sağlamlık ve gizlilik dik olmayan özelliklerdir. Sağlam toplama, bozuk gradyan güncellemelerine karşı savunur ancak dürüst ama meraklı bir sunucunun güncellemelerden özel bilgi çıkarmasını engellemez. Gizlilik garantileri elde etmek için diferansiyel gizlilik (gradyan kırpma ve gürültü) ayrı olarak eklenmelidir.
Standart FedAvg'den nasıl farklıdır?
Standart FedAvg (McMahan et al., 2017), istemci model güncellemelerinin ağırlıklı ortalamasını kullanır; bu, tek bir kötü niyetli istemci tarafından keyfi olarak bozulabilir. Robust FL, ortalamayı, herhangi bir istemcinin küresel model üzerindeki etkisini sınırlayan Kseniyacı toleranslı bir toplama kuralıyla (örneğin, koordinat bazında medyan veya Krum) değiştirir, bu da yakınsama hızında bir miktar maliyetle gerçekleşir.
Ana yakınsama zorluğu nedir?
Non-IID istemci verileri, Kseniyacı istemciler olmasa bile birincil yakınsama zorluğudur: istemciler çok farklı yerel dağılımlara sahip olduğunda, yerel gradyanlar farklı yönlere işaret eder, bu da küresel yakınsamayı yavaşlatır. Sağlam toplama kuralları, istatistiksel heterojenliği çözmek için değil, Kseniyacı tolerans için tasarlanmıştır, bu nedenle her iki sorunun da ayrı azaltma stratejilerine ihtiyacı vardır.
Hangi toplama kuralını seçmeliyim?
Koordinat bazında medyan basittir ve optimale yakın istatistiksel oranlar elde eder (Yin et al., 2018). Krum hesaplama açısından daha ağırdır ancak daha güçlü tur başına seçim garantileri sağlar. Kırpılmış ortalama bir denge sunar. Bulyan, daha yüksek sağlamlık için Krum seçimi ile kırpılmış toplamayı birleştirir. Seçim, tehdit modelinize ve kötü niyetli olmasını beklediğiniz istemci oranına uymalıdır.
Kaynaklar
- Blanchard, P., El Mhamdi, E. M., Guerraoui, R., & Stainer, J. (2017). Machine Learning with Adversaries: Byzantine Tolerant Gradient Descent. Advances in Neural Information Processing Systems, 30. link ↗
- Yin, D., Chen, Y., Kannan, R., & Bartlett, P. (2018). Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates. Proceedings of the 35th International Conference on Machine Learning (ICML), PMLR 80:5650–5659. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Robust Federated Learning (Byzantine-Tolerant Distributed Training). ScholarGate. https://scholargate.app/tr/machine-learning/robust-federated-learning
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Bayesçi Birleşik ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Federated LearningGizlilik↔ karşılaştır
- Çevrimiçi Birleşik ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Sağlam Gradyan ArtırmaMakine öğrenmesi↔ karşılaştır
- Yarı denetimli Federe ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Transfer LearningMakine öğrenmesi↔ karşılaştır