Longformer / BigBird
Transformerele pentru secvențe lungi, precum Longformer (Beltagy, Peters & Cohan, 2020) și BigBird (Zaheer et al., 2020), înlocuiesc atenția standard O(n²) a Transformerului cu modele de atenție sparse care scalează liniar, O(n), cu lungimea secvenței. Acest lucru permite unui singur model să proceseze mii de tokeni — documente complete, texte juridice sau secvențe genomice — care nu ar încăpea într-un Transformer convențional.
Citește metoda completă
Autentifică-te cu un cont gratuit pentru a citi această secțiune.
Method map
The neighbourhood of related methods — select a node to explore.
Surse
Cum se citează această pagină
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/ro/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Rețeaua de Atenție GraficăÎnvățare profundă↔ compare
- Amestec de ExperțiÎnvățare profundă↔ compare
- Pădurea Aleatoare (Random Forest)Învățare automată↔ compare
- XGBoostÎnvățare automată↔ compare
Citat de
Ai observat o problemă pe această pagină? Raportează sau sugerează o corectură →