Bert Small Japanese

🚀 BERT小型日語金融模型

這是一個基於日語文本進行預訓練的 BERT 模型。該模型可以幫助處理日語金融領域的文本挖掘任務，為相關研究和應用提供有力支持。

🚀 快速開始

本模型基於日語文本進行預訓練，預訓練代碼可在 retarfi/language-pretraining 找到。

✨ 主要特性

• 架構標準：模型架構與 原始ELECTRA論文 中的BERT小型模型相同，包含12層、256維隱藏狀態和4個注意力頭。
• 數據優質：使用日語版維基百科數據進行訓練，訓練語料基於2021年6月1日的維基百科轉儲文件生成，語料文件大小為2.9GB，約包含2000萬句話。
• 分詞合理：文本先使用MeCab和IPA字典進行分詞，再通過WordPiece算法拆分為子詞，詞彙量為32768。
• 訓練規範：訓練配置與 原始ELECTRA論文 中的BERT小型模型相同，每個實例128個標記，每批128個實例，共進行145萬步訓練。

🔧 技術細節

模型架構

模型架構與 原始ELECTRA論文 中的BERT小型模型一致，具有12層網絡結構，隱藏狀態維度為256，注意力頭數量為4。這種架構設計在處理日語文本時能夠有效捕捉語義信息，為後續的文本挖掘任務奠定基礎。

訓練數據

訓練數據來源於日語版維基百科。具體來說，使用了截至2021年6月1日的維基百科轉儲文件生成訓練語料。語料文件大小達2.9GB，包含約2000萬句話，豐富的數據為模型的訓練提供了充足的信息。

分詞處理

文本的分詞過程分為兩步。首先，使用MeCab和IPA字典對文本進行初步分詞，將句子拆分為單詞。然後，通過WordPiece算法將這些單詞進一步拆分為子詞，詞彙量設定為32768。這種分詞方式能夠更好地處理日語中的複雜詞彙和語法結構。

訓練配置

訓練過程採用了與 原始ELECTRA論文 中BERT小型模型相同的配置。每個實例包含128個標記，每批包含128個實例，總共進行145萬步訓練。這樣的配置有助於模型在訓練過程中充分學習數據中的特徵。

📄 許可證

預訓練模型根據 知識共享署名 - 相同方式共享4.0 許可條款進行分發。

📚 詳細文檔

引用信息

如果您使用了本模型，請引用以下論文：

@article{Suzuki-etal-2023-ipm,
  title = {Constructing and analyzing domain-specific language model for financial text mining},
  author = {Masahiro Suzuki and Hiroki Sakaji and Masanori Hirano and Kiyoshi Izumi},
  journal = {Information Processing & Management},
  volume = {60},
  number = {2},
  pages = {103194},
  year = {2023},
  doi = {10.1016/j.ipm.2022.103194}
}

致謝

本研究得到了日本學術振興會（JSPS）科研費資助（項目編號：JP21K12010）。

模型信息表格