Campuran Pakar

Campuran Pakar (MoE) ialah seni bina rangkaian saraf jarang, diperkenalkan oleh Shazeer dan rakan-rakannya pada tahun 2017 dengan lapisan MoE yang digerbang secara jarang, di mana hanya subset sub-rangkaian pakar yang diaktifkan untuk setiap input. Seperti yang dilihat dalam model seperti Switch Transformer dan Mixtral, ia mengekalkan kos pengiraan tetap walaupun jumlah parameter meningkat.