Electra Small Paper Japanese Generator

🚀 ELECTRA small Japanese generator

このモデルは、日本語のテキストで事前学習されたELECTRAモデルです。事前学習のコードは、retarfi/language-pretrainingで入手できます。

🚀 クイックスタート

このモデルは日本語のテキストで事前学習されたELECTRAモデルです。事前学習のコードは指定のGitHubリポジトリで入手できます。

✨ 主な機能

• 日本語テキストの事前学習済みモデルです。
• ELECTRA smallのアーキテクチャを採用しています。

📚 ドキュメント

🔧 モデルアーキテクチャ

モデルアーキテクチャは、元のELECTRA論文のELECTRA smallと同じです。12層、隠れ状態の次元数は64、アテンションヘッドは1つです。

📦 学習データ

モデルは日本語版Wikipediaで学習されています。学習コーパスは、2021年6月1日時点のWikipediaダンプファイルを使用して生成されました。コーパスファイルのサイズは2.9GBで、約2000万文から構成されています。

🔧 トークン化

テキストはまずMeCabとIPA辞書を使ってトークン化され、その後WordPieceアルゴリズムでサブワードに分割されます。語彙サイズは32768です。

🔧 学習

モデルは、元のELECTRA論文のELECTRA smallと同じ設定で学習されています。1インスタンスあたり128トークン、1バッチあたり128インスタンス、学習ステップは100万回です。ジェネレータのサイズはディスクリミネータのサイズの1/4です。

📄 引用

@article{Suzuki-etal-2023-ipm,
  title = {Constructing and analyzing domain-specific language model for financial text mining}
  author = {Masahiro Suzuki and Hiroki Sakaji and Masanori Hirano and Kiyoshi Izumi},
  journal = {Information Processing & Management},
  volume = {60},
  number = {2},
  pages = {103194},
  year = {2023},
  doi = {10.1016/j.ipm.2022.103194}
}

📄 ライセンス

事前学習済みモデルは、Creative Commons Attribution-ShareAlike 4.0の条件で配布されています。

🔗 謝辞

この研究は、JSPS科研費JP21K12010の支援を受けて行われました。

📋 情報テーブル