Destylacja wiedzy
Destylacja wiedzy to technika kompresji modelu, wprowadzona przez Geoffrey'a Hintona i współpracowników w 2015 roku, która polega na trenowaniu małego modelu ucznia przy użyciu miękkich etykiet wyjściowych dużego modelu nauczyciela. Destylaty takie jak DistilBERT i TinyBERT osiągają około 97% wydajności większego modelu, działając znacznie szybciej.
Przeczytaj pełny opis metody
Zaloguj się na bezpłatne konto, aby przeczytać tę sekcję.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Źródła
Jak cytować tę stronę
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/pl/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdUczenie głębokie↔ compare
- Mixture of ExpertsUczenie głębokie↔ compare
- Random ForestUczenie maszynowe↔ compare
- Wizualne uczenie kontrastoweUczenie głębokie↔ compare
- XGBoostUczenie maszynowe↔ compare
Cytowana przez
Widzisz błąd na tej stronie? Zgłoś go lub zaproponuj poprawkę →