Machine learning
LoRAとPEFT
LoRA（Low-Rank Adaptation）はHuらによって2022年に導入され、より広範なパラメータ効率ファインチューニング（PEFT）手法群は、モデル内の全ての重みを更新する代わりに少数の追加パラメータのみを訓練することで、大規模事前学習済み言語モデルを新しいタスクに適応させます。これにより、元のモデルをほとんど変更せずに、はるかに少ないGPUメモリと計算量でファインチューニングが可能になります。
手法の全文を読む
会員限定
ログイン無料アカウントでログインすると、このセクションを読めます。
Method map
The neighbourhood of related methods — select a node to explore.
出典
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
このページの引用方法
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/ja/deep-learning/lora-peft
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Generative Adversarial Network深層学習↔ compare
- ランダムフォレスト機械学習↔ compare
- Variational Autoencoder深層学習↔ compare
- ビジョントランスフォーマー深層学習↔ compare
- XGBoost機械学習↔ compare