Machine learningDeep learning / NLP / CV
ドメイン適応型BERTベース分類
ドメイン適応型BERTベース分類は、標準的なファインチューニングパイプラインを拡張するもので、まずBERTのマスク言語モデル（MLM）事前学習を、対象ドメインのラベルなしテキストの大規模コーパスで継続し、次にラベル付きサンプルを用いて対象分類タスクのために適応型モデルをファインチューニングします。この2段階アプローチは、BERTの汎用事前学習コーパスと、生物医学、法律、金融、ソーシャルメディアテキストなどの専門ドメインとの間の語彙および分布のギャップを埋めます。
手法の全文を読む
会員限定
ログイン無料アカウントでログインすると、このセクションを読めます。
Method map
The neighbourhood of related methods — select a node to explore.
+4 more
出典
- Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020), 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
- Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., & Kang, J. (2020). BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, 36(4), 1234–1240. DOI: 10.1093/bioinformatics/btz682 ↗
このページの引用方法
ScholarGate. (2026, June 3). Domain-Adaptive Pre-training with BERT for Text Classification. ScholarGate. https://scholargate.app/ja/deep-learning/domain-adaptive-bert-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERTベースの分類深層学習↔ compare
- ドメイン適応型Transformer深層学習↔ compare
- ファインチューニングされたBERTベースの分類深層学習↔ compare
- RoBERTaベースの分類深層学習↔ compare
- 文埋め込み（Sentence Embeddings）深層学習↔ compare
- BERTベースの転移学習による分類深層学習↔ compare