Bert Base Japanese Char

🚀 BERT基礎日文模型（字符分詞）

這是一個基於日語文本預訓練的BERT模型。該模型先基於IPA詞典進行詞級分詞，再進行字符級分詞來處理輸入文本。預訓練代碼可在cl - tohoku/bert - japanese獲取。

🚀 快速開始

此模型可用於處理日語相關的自然語言處理任務，如文本分類、命名實體識別等。你可以參考預訓練代碼倉庫中的示例來快速上手。

✨ 主要特性

• 採用先基於IPA詞典進行詞級分詞，再進行字符級分詞的方式處理輸入文本。
• 模型架構與原始BERT基礎模型相同，具有12層、768維隱藏狀態和12個注意力頭。

📚 詳細文檔

模型架構

模型架構與原始BERT基礎模型一致，包含12層、768維隱藏狀態和12個注意力頭。

訓練數據

該模型基於2019年9月1日的日語維基百科進行訓練。使用WikiExtractor從維基百科文章的轉儲文件中提取純文本，用於訓練的文本文件大小為2.6GB，約包含1700萬個句子。

分詞處理

文本首先通過MeCab形態分析器結合IPA詞典進行分詞，然後拆分為字符。詞彙表大小為4000。

訓練配置

模型的訓練配置與原始BERT相同，每個實例包含512個標記，每個批次包含256個實例，共進行100萬步訓練。

📄 許可證

預訓練模型根據知識共享署名 - 相同方式共享3.0許可條款進行分發。

致謝

在訓練模型時，我們使用了TensorFlow研究雲項目提供的Cloud TPU。