Μείγμα Εμπειρογνωμόνων

Το Μείγμα Εμπειρογνωμόνων (MoE) είναι μια αραιή αρχιτεκτονική νευρωνικών δικτύων, που εισήχθη από τον Shazeer και τους συνεργάτες του το 2017 με το αραιά-πυλωμένο επίπεδο MoE, στο οποίο μόνο ένα υποσύνολο υποδικτύων εμπειρογνωμόνων ενεργοποιείται για κάθε είσοδο. Όπως φαίνεται σε μοντέλα όπως το Switch Transformer και το Mixtral, διατηρεί το υπολογιστικό κόστος σταθερό ακόμα και όταν ο συνολικός αριθμός παραμέτρων αυξάνεται.