Bert Large Japanese Char

🚀 BERT large 日語模型（基於全詞掩碼的字符級分詞，jawiki-20200831）

這是一個基於日語文本預訓練的 BERT 模型。該模型能夠有效處理日語文本，為日語相關的自然語言處理任務提供強大支持。

🚀 快速開始

此模型可用於多種日語自然語言處理任務，如文本分類、命名實體識別等。你可以參考 cl-tohoku/bert-japanese 中的預訓練代碼進行使用。

✨ 主要特性

• 採用基於 Unidic 2.1.2 字典（可在 unidic-lite 包中獲取）的詞級分詞，隨後進行字符級分詞處理輸入文本。
• 在掩碼語言模型（MLM）目標中啟用全詞掩碼進行訓練，提升模型性能。

📦 安裝指南

文檔未提及具體安裝步驟，可參考 cl-tohoku/bert-japanese 中的代碼和說明進行安裝。

📚 詳細文檔

模型架構

模型架構與原始的 BERT large 模型相同，包含 24 層、1024 維的隱藏狀態和 16 個注意力頭。

訓練數據

模型在日語版維基百科上進行訓練。訓練語料庫由 2020 年 8 月 31 日的維基百科 Cirrussearch 轉儲文件生成。生成的語料庫文件總計 4.0GB，包含約 3000 萬個句子。使用 MeCab 形態分析器和 mecab-ipadic-NEologd 字典將文本分割成句子。

分詞處理

文本首先使用 MeCab 和 Unidic 2.1.2 字典進行分詞，然後拆分為字符。詞彙表大小為 6144。使用 fugashi 和 unidic-lite 包進行分詞。

訓練過程

模型使用與原始 BERT 相同的配置進行訓練，每個實例 512 個標記，每個批次 256 個實例，共進行 100 萬步訓練。在 MLM（掩碼語言模型）目標的訓練中，引入了全詞掩碼，即對應單個單詞（由 MeCab 分詞）的所有子詞標記會同時被掩碼。每個模型的訓練使用了 TensorFlow Research Cloud 計劃 提供的 v3 - 8 實例的 Cloud TPUs，訓練大約需要 5 天完成。

🔧 技術細節

• 模型基於 BERT 架構，結合了日語的語言特點進行預訓練，在處理日語文本時具有較好的性能。
• 採用全詞掩碼的方式進行訓練，能夠更好地捕捉單詞之間的語義關係。
• 使用特定的字典和工具進行分詞處理，保證了分詞的準確性和效率。

📄 許可證

預訓練模型根據 知識共享署名 - 相同方式共享 3.0 條款進行分發。

👏 致謝

此模型使用了 TensorFlow Research Cloud 計劃提供的 Cloud TPUs 進行訓練。