Graf Sinir Ağları ile Transfer Öğrenmesi
Transfer Learning with Graph Neural Network (Pre-trained GNN Fine-tuning) · Ayrıca şöyle bilinir: TL-GNN, pre-trained GNN, GNN transfer learning, graph transfer learning
Graf Sinir Ağları (GNN'ler) ile Transfer Öğrenmesi, büyük bir kaynak graf veri kümesi üzerinde önceden eğitilmiş bir GNN'yi daha küçük, genellikle etiket-kıtı hedef graf görevi için uyarlar. Öğrenilmiş düğüm ve kenar temsillerini yeniden kullanarak, bu yaklaşım, kimya, biyoloji ve sosyal ağ analizi gibi alanlarda yaygın olan yeterli etiketli graf verisi toplamanın pahalı veya yavaş olduğu durumlarda güçlü tahmin performansı elde eder.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Önceden eğitim için büyük, yapısal olarak ilgili bir kaynak veri kümesi mevcut olduğunda ancak etiketli hedef graf verisi kıt olduğunda (onlarca ila yüzlerce graf) önerilir. İdeal alanlar moleküler özellik tahmini, sosyal ağ sınıflandırması, atıf graf analizi ve bilgi grafı tamamlama içerir. Kaynak ve hedef graf yapıları temelden farklı olduğunda (negatif aktarım riski), hedef veri kümesi sıfırdan bir GNN eğitmek için yeterince büyük olduğunda veya graf topolojisinin kendisi mevcut olmadığında ve daha basit tablo modelleri yeterli olduğunda uygun değildir.
Güçlü yönler & sınırlılıklar
- Kaynak temsillerini yeniden kullanarak etiket-kıtı hedef görevlerde performansı önemli ölçüde iyileştirir.
- Sıfırdan eğitmeye kıyasla hedef görevde eğitim süresini ve hesaplamayı azaltır.
- Kendi kendine denetimli hedeflerle (örn. maskelenmiş öznitelik tahmini) ön eğitim, etiketlenmemiş kaynak graflardan yararlanmayı sağlar.
- Kemoinformatik, biyoloji ve atıf ağlarında halka açık önceden eğitilmiş GNN kontrol noktalarıyla yaygın olarak doğrulanmıştır.
- Birden çok GNN mimarisi (GIN, GAT, GraphSAGE) ve çeşitli graf türleriyle uyumludur.
- Kaynak ve hedef graf dağılımları topoloji veya düğüm semantiği açısından önemli ölçüde farklılaştığında negatif aktarım meydana gelebilir.
- Ölçekte ön eğitim, her zaman mevcut olmayan önemli hesaplama ve büyük küratörlü graf veri kümeleri gerektirir.
- Kaynak ve hedef arasındaki özellik hizalaması önemsiz değildir: düğüm/kenar öznitelik şemaları uyumlu olmalıdır.
- Aktarılan temsillerin yorumlanabilirliği sınırlıdır — önceden eğitilmiş bir motifin neden aktarıldığını açıklamak zordur.
SSS
GNN'ler için en iyi ön eğitim stratejisi nedir?
Hu ve ark. (2020), büyük bir kaynak veri kümesi üzerinde düğüm düzeyinde kendi kendine denetimli ön eğitimi graf düzeyinde denetimli ön eğitimle birleştirmenin en iyi genelleştiğini bulmuştur. Doğru seçim, etiketsiz grafların bol olup olmadığına ve kaynak alanda graf düzeyinde etiketlerin mevcut olup olmadığına bağlıdır.
Hedef görevimde transfer öğrenmesinin ne zaman yardımcı olacağını nasıl anlarım?
Sıfırdan eğitilmiş bir GNN ile aktarım öğrenilmiş modeli tutulmuş bir test kümesi üzerinde karşılaştırın. Kaynak ve hedef graf yapıları benzerse (örn. her ikisi de moleküler graflar), aktarım genellikle yardımcı olur. Alanlar güçlü bir şekilde farklıysa, negatif aktarım zarar verebilir ve sıfırdan bir temel model rekabetçi olabilir.
Önceden eğitilmiş GNN katmanlarını dondurmalı mıyım yoksa ince ayar yapmalı mıyım?
Çok az hedef etiketle (yaklaşık 100 grafın altında), aşırı uyumu önlemek için kodlayıcıyı dondurmak ve yalnızca görev başlığını eğitmek daha güvenlidir. Orta düzeyde veriyle, üst katmanları küçük bir öğrenme oranıyla kısmen çözmek genellikle en iyi dengeyi sağlar.
Bu yaklaşımı önceden var olan önceden eğitilmiş bir GNN olmadan kullanabilir miyim?
Evet — ince ayardan önce büyük, ilgili bir graf veri kümesi üzerinde kendiniz bir GNN ön eğitebilir veya halka açık kontrol noktalarını (örn. Hu ve ark. tarafından moleküler graflar için yayınlananlar) kullanabilirsiniz. Maskelenmiş düğüm öznitelik tahmini gibi kendi kendine denetimli hedefler, etiketli kaynak veriye olan ihtiyacı ortadan kaldırır.
Hangi GNN mimarileri bu yaklaşımla uyumludur?
Yaklaşım mimariye duyarsızdır: GIN, GAT, GraphSAGE ve GCN önceden eğitilmiş omurgalar olarak kullanılmıştır. Mimari seçimi graf türüne göre yönlendirilmelidir — kenar önemi değiştikçe GAT tercih edilir; GIN, graf düzeyindeki görevler için güçlü bir ifade gücü sunar.
Kaynaklar
- Hu, W., Liu, B., Gomes, J., Zitnik, M., Liang, P., Pande, V., & Leskovec, J. (2020). Strategies for Pre-training Graph Neural Networks. In International Conference on Learning Representations (ICLR 2020). link ↗
- Pan, S. J., & Yang, Q. (2010). A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359. DOI: 10.1109/TKDE.2009.191 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Transfer Learning with Graph Neural Network (Pre-trained GNN Fine-tuning). ScholarGate. https://scholargate.app/tr/deep-learning/transfer-learning-with-graph-neural-network
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Graf Sinir AğıAğ analizi↔ karşılaştır
- BERT Tabanlı Sınıflandırma ile Transfer ÖğrenimiDerin öğrenme↔ karşılaştır
- Evrişimli Sinir Ağı ile Transfer ÖğrenmeDerin öğrenme↔ karşılaştır