Electra Small Japanese Generator

🚀 ELECTRA small Japanese generator

このモデルは、日本語のテキストで事前学習されたELECTRAモデルです。事前学習に使用されたコードは、retarfi/language-pretrainingで公開されています。

🚀 クイックスタート

このモデルは日本語のテキストに対して事前学習されたELECTRAモデルです。以下のリンクから事前学習のコードや関連情報を参照できます。

• 事前学習コード: retarfi/language-pretraining

✨ 主な機能

• 日本語テキストに対する事前学習済みのELECTRAモデルです。
• 特定のアーキテクチャ（12層、256次元の隠れ状態、4つのアテンションヘッド）を持っています。

📚 ドキュメント

モデルアーキテクチャ

モデルのアーキテクチャは、元のELECTRA実装のELECTRA smallと同じです。12層、256次元の隠れ状態、4つのアテンションヘッドを持っています。

学習データ

このモデルは、日本語版Wikipediaを使用して学習されています。学習コーパスは、2021年6月1日時点のWikipediaダンプファイルから生成されています。コーパスファイルは2.9GBで、約2000万文から構成されています。

トークン化

テキストはまずMeCabとIPA辞書を使用してトークン化され、その後WordPieceアルゴリズムでサブワードに分割されます。語彙サイズは32768です。

学習

このモデルは、元のELECTRA論文のELECTRA smallと同じ設定で学習されています（ただしサイズを除く）。1インスタンスあたり128トークン、1バッチあたり128インスタンス、100万ステップの学習を行っています。ジェネレータのサイズはディスクリミネータと同じです。

引用

@article{Suzuki-etal-2023-ipm,
  title = {Constructing and analyzing domain-specific language model for financial text mining}
  author = {Masahiro Suzuki and Hiroki Sakaji and Masanori Hirano and Kiyoshi Izumi},
  journal = {Information Processing & Management},
  volume = {60},
  number = {2},
  pages = {103194},
  year = {2023},
  doi = {10.1016/j.ipm.2022.103194}
}

📄 ライセンス

事前学習済みモデルは、Creative Commons Attribution-ShareAlike 4.0の条件で配布されています。

謝辞

この研究は、JSPS科研費JP21K12010の支援を受けて行われました。