Bert Large Japanese

🚀 BERT large 日語模型 (unidic-lite 全詞掩碼，jawiki-20200831)

這是一個基於日語文本預訓練的 BERT 模型，能有效處理日語相關的自然語言處理任務。

🚀 快速開始

此模型是基於日語文本進行預訓練的 BERT 模型。該版本模型基於 Unidic 2.1.2 字典（可在 unidic-lite 包中獲取）以詞級進行輸入文本分詞，隨後進行 WordPiece 子詞分詞。此外，該模型在訓練掩碼語言模型（MLM）目標時啟用了全詞掩碼。預訓練代碼可在 cl-tohoku/bert-japanese 找到。

✨ 主要特性

• 詞級與子詞分詞結合：先基於 Unidic 2.1.2 字典進行詞級分詞，再使用 WordPiece 算法進行子詞分詞。
• 全詞掩碼訓練：在訓練掩碼語言模型（MLM）目標時啟用全詞掩碼，提升模型性能。

📚 詳細文檔

模型架構

模型架構與原始 BERT large 模型相同，包含 24 層、1024 維隱藏狀態和 16 個注意力頭。

訓練數據

模型在日語版維基百科上進行訓練。訓練語料庫由 2020 年 8 月 31 日的維基百科 Cirrussearch 轉儲文件生成。生成的語料庫文件總計 4.0GB，包含約 3000 萬條句子。使用 MeCab 形態分析器和 mecab-ipadic-NEologd 字典將文本分割成句子。

分詞

文本首先使用 MeCab 和 Unidic 2.1.2 字典進行分詞，然後通過 WordPiece 算法分割成子詞。詞彙表大小為 32768。使用了 fugashi 和 unidic-lite 包進行分詞。

訓練

模型的訓練配置與原始 BERT 相同，每個實例 512 個標記，每個批次 256 個實例，訓練步數為 100 萬步。在訓練掩碼語言模型（MLM）目標時，引入了全詞掩碼，即一次性掩碼對應單個單詞（由 MeCab 分詞）的所有子詞標記。每個模型的訓練使用了 TensorFlow Research Cloud 計劃 提供的 v3 - 8 實例的 Cloud TPU，訓練大約需要 5 天完成。

📄 許可證

預訓練模型根據 知識共享署名 - 相同方式共享 3.0 條款進行分發。

🔗 致謝

此模型使用了 TensorFlow Research Cloud 計劃提供的 Cloud TPU 進行訓練。