Bert Small Japanese

🚀 BERT small Japanese finance

このモデルは、日本語のテキストで事前学習されたBERTモデルです。日本語の金融分野のテキストマイニングに役立ちます。

🚀 クイックスタート

このモデルは、日本語のテキストを対象とした事前学習済みのBERTモデルです。事前学習のコードはretarfi/language-pretrainingで入手できます。

✨ 主な機能

• 日本語の金融分野のテキストに特化した事前学習が行われています。
• 一般的な日本語のテキスト処理にも応用可能です。

📦 インストール

READMEに具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

READMEに具体的なコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデルアーキテクチャ

モデルのアーキテクチャは、元のELECTRA論文のBERT smallと同じです。12層、隠れ状態の次元数は256、アテンションヘッドは4つです。

学習データ

このモデルは、日本語版のWikipediaを使用して学習されています。学習コーパスは、2021年6月1日時点のWikipediaダンプファイルから生成されています。コーパスファイルのサイズは2.9GBで、約2000万文から構成されています。

トークン化

テキストはまずMeCabとIPA辞書を使用してトークン化され、その後WordPieceアルゴリズムによってサブワードに分割されます。語彙サイズは32768です。

学習

モデルは、元のELECTRA論文のBERT smallと同じ設定で学習されています。1インスタンスあたり128トークン、1バッチあたり128インスタンス、学習ステップは145万回です。

🔧 技術詳細

• モデルのアーキテクチャは、BERT smallをベースにしています。
• 学習データは、日本語版のWikipediaを使用しています。
• トークン化にはMeCabとWordPieceアルゴリズムを使用しています。

📄 ライセンス

事前学習済みのモデルは、Creative Commons Attribution-ShareAlike 4.0の条項に基づいて配布されています。

引用

@article{Suzuki-etal-2023-ipm,
  title = {Constructing and analyzing domain-specific language model for financial text mining},
  author = {Masahiro Suzuki and Hiroki Sakaji and Masanori Hirano and Kiyoshi Izumi},
  journal = {Information Processing & Management},
  volume = {60},
  number = {2},
  pages = {103194},
  year = {2023},
  doi = {10.1016/j.ipm.2022.103194}
}

謝辞

この研究は、JSPS科研費JP21K12010の支援を受けて行われました。

情報テーブル