Time-MoE: Karma-Uzmanlar Karışımı Zaman Serisi Temel Modeli
Time-MoE (Mixture-of-Experts Time-Series Foundation Model) · Ayrıca şöyle bilinir: Time Mixture-of-Experts, Time-MoE Foundation Model, Sparse Time-Series Transformer, Zaman Karışık Uzmanlar Modeli
Time-MoE, Shi ve ark. tarafından 2024'te tanıtılan ve ICLR 2025'te kabul edilen, evrensel zaman serisi öngörüsü için milyar ölçekli bir otonom gerilemeli temel modeldir. Model, seyrek Uzmanlar Karışımı (MoE) ileri beslemeli katmanlarla birleştirilmiş bir kod çözücü-tek transformatör mimarisini kullanır; bu, modelin milyarlarca parametreye ölçeklenmesine olanak tanırken, her bir jeton için uzman ağlarının yalnızca küçük bir alt kümesini etkinleştirir—bu da orantılı hesaplama maliyeti olmadan kapasiteyi önemli ölçüde artırır.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Time-MoE, görev özelinde eğitim gerektirmeden alanlar arasında genelleme yapabilen genel amaçlı bir öngörü temel modeline ihtiyaç duyduğunuzda uygundur. Özellikle sıfır-çekim veya az sayıda çekimle tek değişkenli serilerde öngörü, çıkarım verimliliğinin önemli olduğu büyük ölçekli dağıtımlar ve etiketli verinin kıt olduğu ortamlar için uygundur. Varsayımlar, iyi davranışlı skaler zaman serileridir; kutudan çıktığı haliyle çok değişkenli çapraz seri bağımlılık modellemesi için tasarlanmamıştır. Alternatifler arasında benzer sıfır-çekim ortamları için TimesFM, Chronos ve Moirai bulunur.
Güçlü yönler & sınırlılıklar
- Seyrek uzman etkinleştirme yoluyla alt-doğrusal hesaplama büyümesiyle milyarlarca parametreye ölçeklenir
- Büyük ölçekli ön eğitim sayesinde çeşitli zaman serisi alanlarında güçlü sıfır-çekim genellemesi
- Çok çözünürlüklü öngörü başlıkları, tek bir modelden eş zamanlı kısa ve uzun ufuklu tahminlere olanak tanır
- Kod çözücü-tek otonom gerilemeli tasarım, mimari değişiklikler olmadan esnek bağlam uzunluğuna olanak tanır
- Öncelikli olarak tek değişkenli öngörü için tasarlanmıştır; çok değişkenli çapraz seri ilişkileri uyarlama gerektirir
- Büyük model boyutu, dağıtım için önemli bellek ve altyapı gerektirir
- Otonom gerilemeli kod çözme, uzun ufuklarda tahmin hatalarını biriktirir
- Ön eğitim veri dağılımı, son derece uzmanlaşmış veya nadir zaman serisi alanlarını kapsamayabilir
SSS
Time-MoE standart bir transformatör öngörü modelinden nasıl farklıdır?
Standart transformatör öngörücüler, her parametrenin her jeton için etkinleştirildiği yoğun ileri beslemeli katmanlar kullanır. Time-MoE, bunları seyrek MoE bloklarıyla değiştirir ve her jeton için uzman ağlarının yalnızca küçük bir alt kümesini etkinleştirir. Bu, toplam parametre sayısının—ve dolayısıyla model kapasitesinin—önemli ölçüde ölçeklenmesine olanak tanırken, jeton başına hesaplamayı kabaca sabit tutar ve yönetilebilir çıkarım maliyetinde milyar parametreli modellere olanak tanır.
Time-MoE çok değişkenli zaman serilerini işleyebilir mi?
Time-MoE öncelikli olarak tek değişkenli öngörü için tasarlanmıştır ve her seriyi bağımsız olarak işler. Çok değişkenli verilere kanal bağımsız olarak (her değişkeni ayrı bir seri olarak ele alarak) uygulanabilse de, değişkenler arası bağımlılıkları yerel olarak modellemez. Değişkenler arası korelasyon modellemesi gerektiren görevler, bunun yerine özel olarak tasarlanmış çok değişkenli modellerden yararlanabilir.
Time-300B nedir ve neden önemlidir?
Time-300B, Time-MoE ile birlikte tanıtılan, enerji, finans, hava durumu ve ulaşım dahil olmak üzere birden fazla alanı kapsayan yüz milyarlarca zaman serisi gözleminden oluşan büyük ölçekli ön eğitim veri kümesidir. Bu çeşitli veri kümesi üzerinde ön eğitim, Time-MoE'nin, büyük dil modellerinin genellemesini destekleyen web ölçeğindeki metin veri kümelerinin yaptığı gibi, görülmemiş veri kümelerine sıfır-çekim aktarım sağlayan genel zamansal temsiller geliştirmesini sağlar.
Kaynaklar
- Shi, X., Wang, S., Nie, Y., Li, D., Ye, Z., Wen, Q., & Jin, M. (2024). Time-MoE: Billion-scale time series foundation models with mixture of experts. ICLR 2025. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 2). Time-MoE (Mixture-of-Experts Time-Series Foundation Model). ScholarGate. https://scholargate.app/tr/deep-learning/time-moe
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Chronos: Zaman Serisi Tahmini için Tokenize Edilmiş Temel ModelDerin öğrenme↔ karşılaştır
- Uzmanlar KarmasıDerin öğrenme↔ karşılaştır
- TimesFM: Zaman Serileri Tahmini için Yalnızca Kod Çözücü Temelli Bir ModelDerin öğrenme↔ karşılaştır