Bert Small Japanese Fin

🚀 BERT small Japanese finance

このモデルは、日本語のテキストで事前学習されたBERTモデルです。事前学習のコードはretarfi/language-pretrainingで公開されています。

🚀 クイックスタート

このモデルは日本語のテキストに対して事前学習されたBERTモデルで、金融分野のテキストマイニングなどに利用できます。

✨ 主な機能

• 日本語のテキストに対する事前学習済みモデル。
• 金融関連のコーパスを用いて学習されているため、金融分野のテキスト処理に特化しています。

📚 ドキュメント

🔧 モデルアーキテクチャ

モデルアーキテクチャは、元のELECTRA論文のBERT smallと同じです。12層、隠れ状態の次元数は256、アテンションヘッドは4つです。

📦 学習データ

このモデルは、Wikipediaコーパスと金融コーパスを用いて学習されています。

• Wikipediaコーパス：2021年6月1日時点の日本語Wikipediaのダンプファイルから生成されました。コーパスファイルのサイズは2.9GBで、約2000万文から構成されています。
• 金融コーパス：2つのコーパスから構成されています。
  • 2012年10月9日から2020年12月31日までの財務諸表要約
  • 2018年2月8日から2020年12月31日までの有価証券報告書 金融コーパスファイルのサイズは5.2GBで、約2700万文から構成されています。

🔧 トークン化

テキストはまずMeCabとIPA辞書を用いてトークン化され、その後WordPieceアルゴリズムによってサブワードに分割されます。語彙サイズは32768です。

🔧 学習

モデルは、元のELECTRA論文のBERT smallと同じ設定で学習されています。1インスタンスあたり128トークン、1バッチあたり128インスタンス、学習ステップは145万ステップです。

📄 引用

@article{Suzuki-etal-2023-ipm,
  title = {Constructing and analyzing domain-specific language model for financial text mining}
  author = {Masahiro Suzuki and Hiroki Sakaji and Masanori Hirano and Kiyoshi Izumi},
  journal = {Information Processing & Management},
  volume = {60},
  number = {2},
  pages = {103194},
  year = {2023},
  doi = {10.1016/j.ipm.2022.103194}
}

📄 ライセンス

事前学習済みモデルは、Creative Commons Attribution-ShareAlike 4.0の条件で配布されています。

謝辞

この研究は、JSPS科研費JP21K12010の支援を受けて行われました。