Machine learning

Longformer / BigBird

Longformer (Beltagy, Peters & Cohan, 2020) 및 BigBird (Zaheer et al., 2020)와 같은 긴 시퀀스 트랜스포머는 표준 트랜스포머의 O(n²) 어텐션을 시퀀스 길이에 선형적으로 O(n) 확장되는 희소 어텐션 패턴으로 대체합니다. 이를 통해 단일 모델이 기존 트랜스포머에는 맞지 않는 수천 개의 토큰(전체 문서, 법률 텍스트 또는 유전체 서열)을 어텐션할 수 있습니다.

MethodMind에서 열기곧 제공동영상곧 제공Download slides

방법 전문 읽기

회원 전용

무료 계정으로 로그인하면 이 섹션을 읽을 수 있습니다.

로그인

Method map

The neighbourhood of related methods — select a node to explore.

Longformer / BigBird

그래프 어텐션 네트워크 전문가 혼합 랜덤 포레스트 XGBoost 지식 증류 신경망 구조 탐색 시각적 대조 학습

출처

Beltagy, I., Peters, M. E. & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv. link ↗
Zaheer, M. et al. (2020). Big Bird: Transformers for Longer Sequences. NeurIPS. link ↗

이 페이지 인용 방법

ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/ko/deep-learning/longformer-bigbird

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

이 방법을 참조하는 항목

지식 증류 신경망 구조 탐색 시각적 대조 학습

이 페이지에서 오류를 발견하셨나요? 신고하거나 수정을 제안하세요 →