Kf Deberta Base

🚀 KF-DeBERTa

KF-DeBERTa是由 KakaoBank 和 FNGuide 聯合訓練的金融領域專用語言模型。該模型結合了通用領域和金融領域的語料進行訓練，在多個下游任務中展現出卓越性能。

✨ 主要特性

• 多領域融合訓練：KF-DeBERTa 同時使用通用領域語料庫和金融領域語料庫進行訓練，在通用領域和金融領域的下游任務中均表現出色。
• 架構選擇：模型架構基於 DeBERTa-v2 進行訓練。由於觀察到使用 ELECTRA 的 RTD 作為訓練目標的 DeBERTa-v3 在部分任務（如 KLUE-RE、WoS、Retrieval）中性能較低，最終選擇了 DeBERTa-v2 作為架構。
• 優異性能：在通用領域和金融領域的下游任務中均驗證了其卓越性能。特別是在金融領域的下游任務中，通過多種數據集進行了全面的性能驗證，在 KLUE Benchmark 中表現優於 RoBERTa-Large。

📦 安裝指南

文檔未提供安裝步驟，如需使用該模型，可參考 Hugging Face 的 Transformers 庫的安裝方法。

💻 使用示例

基礎用法

from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("kakaobank/kf-deberta-base")
tokenizer = AutoTokenizer.from_pretrained("kakaobank/kf-deberta-base")

text = "카카오뱅크와 에프엔가이드가 금융특화 언어모델을 공개합니다."
tokens = tokenizer.tokenize(text)
print(tokens)

inputs = tokenizer(text, return_tensors="pt")
model_output = model(**inputs)
print(model_output)

📚 詳細文檔

基準測試

所有任務僅進行了以下基本的超參數搜索：

• 批量大小（batch size）: {16, 32}
• 學習率（learning_rate）: {1e-5, 3e-5, 5e-5}
• 權重衰減（weight_decay）: {0, 0.01}
• 預熱比例（warmup_proportion）: {0, 0.1}

KLUE 基準測試

注：粗體表示所有模型中的最高分數，下劃線表示基礎模型中的最高分數。

金融領域基準測試

• FN-Sentiment：金融領域情感分析
• FN-Adnews：金融領域廣告新聞分類
• FN-NER：金融領域命名實體識別
• KorFPB：FinancialPhraseBank 翻譯數據集
  • 引用: Malo, Pekka, et al. "Good debt or bad debt: Detecting semantic orientations in economic texts." Journal of the Association for Information Science and Technology 65.4 (2014): 782-796.
• KorFiQA-SA：FiQA-SA 翻譯數據集
  • 引用: Maia, Macedo & Handschuh, Siegfried & Freitas, Andre & Davis, Brian & McDermott, Ross & Zarrouk, Manel & Balahur, Alexandra. (2018). WWW'18 Open Challenge: Financial Opinion Mining and Question Answering. WWW '18: Companion Proceedings of the The Web Conference 2018. 1941-1942. 10.1145/3184558.3192301.
• KorHeadline：Gold Commodity News and Dimensions 翻譯數據集
  • 引用: Sinha, A., & Khandait, T. (2021, April). Impact of News on the Commodity Market: Dataset and Results. In Future of Information and Communication Conference (pp. 589-601). Springer, Cham.

通用領域基準測試

📄 許可證

KF-DeBERTa 的源代碼和模型在 MIT 許可證下公開。許可證全文可在 MIT 文件 中查看。本公司對因使用該模型而產生的任何損失不承擔責任。

🔗 引用

@proceedings{jeon-etal-2023-kfdeberta,
  title         = {KF-DeBERTa: Financial Domain-specific Pre-trained Language Model},
  author        = {Eunkwang Jeon, Jungdae Kim, Minsang Song, and Joohyun Ryu},
  booktitle     = {Proceedings of the 35th Annual Conference on Human and Cognitive Language Technology},
  moth          = {oct},
  year          = {2023},
  publisher     = {Korean Institute of Information Scientists and Engineers},
  url           = {http://www.hclt.kr/symp/?lnb=conference},
  pages         = {143--148},
}