Kf Deberta Base

🚀 KF-DeBERTa

カカオバンクとエフエヌガイドが共同で学習した金融ドメイン特化の言語モデルを公開します。このモデルは、汎用ドメインと金融ドメインの両方で優れた性能を発揮します。

🚀 クイックスタート

このセクションでは、KF-DeBERTaモデルを使用するための基本的な手順を説明します。

✨ 主な機能

• KF-DeBERTaは、汎用ドメインコーパスと金融ドメインコーパスを組み合わせて学習した言語モデルです。
• モデルアーキテクチャはDeBERTa-v2をベースに学習されています。ELECTRAのRTDをトレーニング目的として使用したDeBERTa-v3は、一部のタスク（KLUE-RE、WoS、Retrieval）で非常に低い性能を示したため、最終的なアーキテクチャはDeBERTa-v2に決定されました。
• 汎用ドメインと金融ドメインの両方の下流タスクで優れた性能を発揮します。金融ドメインの下流タスクについては、様々なデータセットを使用して徹底的な性能検証を行いました。汎用ドメインと金融ドメインの両方で、既存の言語モデルよりも優れた性能を示し、特にKLUEベンチマークではRoBERTa-Largeよりも高い性能を達成しています。

💻 使用例

基本的な使用法

from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("kakaobank/kf-deberta-base")
tokenizer = AutoTokenizer.from_pretrained("kakaobank/kf-deberta-base")

text = "카카오뱅크와 에프엔가이드가 금융특화 언어모델을 공개합니다."
tokens = tokenizer.tokenize(text)
print(tokens)

inputs = tokenizer(text, return_tensors="pt")
model_output = model(**inputs)
print(model_output)

📚 ドキュメント

ベンチマーク

すべてのタスクは、以下の基本的なハイパーパラメータサーチのみを実行しました。

• batch size: {16, 32}
• learning_rate: {1e-5, 3e-5, 5e-5}
• weight_decay: {0, 0.01}
• warmup_proportion: {0, 0.1}

KLUEベンチマーク

太字はすべてのモデルの中で最も高いスコアを示し、下線はベースモデルの中で最も高いスコアを示します。

金融ドメインベンチマーク

• FN-Sentiment: 金融ドメインの感情分析
• FN-Adnews: 金融ドメインの広告記事分類
• FN-NER: 金融ドメインの固有表現認識
• KorFPB: FinancialPhraseBankの翻訳データ
  • 引用: Malo, Pekka, et al. "Good debt or bad debt: Detecting semantic orientations in economic texts." Journal of the Association for Information Science and Technology 65.4 (2014): 782-796.
• KorFiQA-SA: FiQA-SAの翻訳データ
  • 引用: Maia, Macedo & Handschuh, Siegfried & Freitas, Andre & Davis, Brian & McDermott, Ross & Zarrouk, Manel & Balahur, Alexandra. (2018). WWW'18 Open Challenge: Financial Opinion Mining and Question Answering. WWW '18: Companion Proceedings of the The Web Conference 2018. 1941-1942. 10.1145/3184558.3192301.
• KorHeadline: Gold Commodity News and Dimensionsの翻訳データ
  • 引用: Sinha, A., & Khandait, T. (2021, April). Impact of News on the Commodity Market: Dataset and Results. In Future of Information and Communication Conference (pp. 589-601). Springer, Cham.

汎用ドメインベンチマーク

📄 ライセンス

KF-DeBERTaのソースコードとモデルは、MITライセンスの下で公開されています。ライセンスの全文はMITファイルで確認できます。当社は、モデルの使用によって生じた損害について一切の責任を負いません。

引用

@proceedings{jeon-etal-2023-kfdeberta,
  title         = {KF-DeBERTa: Financial Domain-specific Pre-trained Language Model},
  author        = {Eunkwang Jeon, Jungdae Kim, Minsang Song, and Joohyun Ryu},
  booktitle     = {Proceedings of the 35th Annual Conference on Human and Cognitive Language Technology},
  moth          = {oct},
  year          = {2023},
  publisher     = {Korean Institute of Information Scientists and Engineers},
  url           = {http://www.hclt.kr/symp/?lnb=conference},
  pages         = {143--148},
}