Campuran Pakar

Campuran Pakar (MoE) adalah arsitektur jaringan saraf yang jarang (sparse), diperkenalkan oleh Shazeer dan kolega pada tahun 2017 dengan lapisan MoE yang di-gate secara jarang (sparsely-gated), di mana hanya sebagian dari sub-jaringan pakar yang diaktifkan untuk setiap masukan. Seperti yang terlihat pada model seperti Switch Transformer dan Mixtral, MoE menjaga biaya komputasi tetap konstan meskipun jumlah total parameter bertambah.