Longformer / BigBird
ทรานส์ฟอร์เมอร์สำหรับลำดับยาว (Long-sequence Transformers) เช่น Longformer (Beltagy, Peters & Cohan, 2020) และ BigBird (Zaheer et al., 2020) ได้เข้ามาแทนที่กลไกความสนใจ (attention) แบบมาตรฐานของทรานส์ฟอร์เมอร์ ซึ่งมีค่าใช้จ่าย O(n²) ด้วยรูปแบบความสนใจแบบกระจัดกระจาย (sparse attention patterns) ที่ปรับขนาดเชิงเส้นตรง O(n) ตามความยาวของลำดับ สิ่งนี้ทำให้แบบจำลองเดี่ยวสามารถประมวลผลโทเค็นได้หลายพันรายการ เช่น เอกสารฉบับเต็ม ข้อความทางกฎหมาย หรือลำดับจีโนม ซึ่งไม่สามารถทำได้ด้วยทรานส์ฟอร์เมอร์แบบดั้งเดิม
อ่านวิธีฉบับเต็ม
เข้าสู่ระบบด้วยบัญชีฟรีเพื่ออ่านส่วนนี้
Method map
The neighbourhood of related methods — select a node to explore.
แหล่งอ้างอิง
วิธีอ้างอิงหน้านี้
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/th/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Graph Attention Networkการเรียนรู้เชิงลึก↔ compare
- Mixture of Expertsการเรียนรู้เชิงลึก↔ compare
- Random Forestการเรียนรู้ของเครื่อง↔ compare
- XGBoostการเรียนรู้ของเครื่อง↔ compare