Απόσταξη Γνώσης
Η Απόσταξη Γνώσης είναι μια τεχνική συμπίεσης μοντέλων, που εισήχθη από τον Geoffrey Hinton και συνεργάτες το 2015, η οποία εκπαιδεύει ένα μικρό μοντέλο-μαθητή χρησιμοποιώντας τις εξόδους μαλακών ετικετών ενός μεγάλου μοντέλου-δασκάλου. Μοντέλα που έχουν αποσταχθεί, όπως το DistilBERT και το TinyBERT, επιτυγχάνουν περίπου το 97% της απόδοσης του μεγαλύτερου μοντέλου, ενώ εκτελούνται πολύ ταχύτερα.
Διαβάστε ολόκληρη τη μέθοδο
Συνδεθείτε με δωρεάν λογαριασμό για να διαβάσετε αυτή την ενότητα.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Πηγές
Πώς να παραπέμψετε σε αυτή τη σελίδα
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/el/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdΒαθιά Μάθηση↔ compare
- Μείγμα ΕμπειρογνωμόνωνΒαθιά Μάθηση↔ compare
- Τυχαίο ΔάσοςΜηχανική Μάθηση↔ compare
- Οπτική Συγκριτική ΜάθησηΒαθιά Μάθηση↔ compare
- XGBoostΜηχανική Μάθηση↔ compare
Αναφέρεται από
Εντοπίσατε πρόβλημα σε αυτή τη σελίδα; Αναφέρετέ το ή προτείνετε διόρθωση →