KR FinBert SC

🚀 KR-FinBert & KR-FinBert-SC

NLP（自然言語処理）の分野では大きな進歩が見られ、多くの研究で、小規模コーパスを用いたドメイン適応とラベル付きデータによる微調整が全体的なパフォーマンス向上に有効であることが示されています。 我々は、金融コーパスでの追加事前学習と感情分析のための微調整を行い、金融ドメイン向けのKR-FinBertを提案しました。多くの研究が示すように、この実験でも適応と下流タスクの実行によるパフォーマンス向上が明らかでした。

📦 インストール

このモデルの学習データは、KR-BERT-MEDIUM のデータを拡張したものです。韓国語ウィキペディア、一般ニュース記事、国立法制情報院からクロールした法律テキスト、および 韓国語コメントデータセット が含まれています。転移学習のために、フィナンシャルタイムズ、韓国経済新聞などの 72のメディアからの企業関連の経済ニュース記事 と、키움証券、サムスン証券などの 16の証券会社からのアナリストレポート が追加されています。データセットには、440,067件のニュースタイトルとその内容、および11,237件のアナリストレポートが含まれています。データの総サイズは約13.22GBです。 mlm学習のために、データを行ごとに分割し、行の総数は6,379,315です。 KR-FinBertは、maxlenを512、学習バッチサイズを32、学習率を5e-5として550万ステップ学習され、NVIDIA TITAN XPを使用してモデルを学習するのに67.48時間かかりました。

📚 ドキュメント

感情分類モデル

50,000件のラベル付きデータを用いた下流タスクのパフォーマンス。

推論サンプル

引用

@misc{kr-FinBert-SC,
  author = {Kim, Eunhee and Hyopil Shin},
  title = {KR-FinBert: Fine-tuning KR-FinBert for Sentiment Analysis},
  year = {2022},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://huggingface.co/snunlp/KR-FinBert-SC}}
}