Bert Base Japanese Char V2

🚀 BERT基礎日文模型（基於全詞掩碼的字符級分詞，jawiki-20200831）

這是一個基於日文文本預訓練的 BERT 模型。該模型能處理日文文本，在自然語言處理任務中有著重要價值，可用於文本分類、情感分析等多種場景。

🚀 快速開始

此模型為基於日文文本預訓練的 BERT 模型，可用於各類日文自然語言處理任務。

✨ 主要特性

• 該版本模型基於 Unidic 2.1.2 字典（可在 unidic-lite 包中獲取）進行詞級分詞，隨後進行字符級分詞來處理輸入文本。
• 在掩碼語言模型（MLM）目標訓練中啟用了全詞掩碼。

📚 詳細文檔

模型架構

模型架構與原始 BERT 基礎模型相同，包含 12 層、768 維隱藏狀態和 12 個注意力頭。

訓練數據

• 模型在日文版維基百科上進行訓練。訓練語料庫由 2020 年 8 月 31 日的維基百科 Cirrussearch 轉儲文件生成。
• 生成的語料庫文件總計 4.0GB，包含約 3000 萬個句子。使用 MeCab 形態分析器和 mecab-ipadic-NEologd 字典將文本拆分為句子。

分詞處理

• 文本首先使用 MeCab 和 Unidic 2.1.2 字典進行分詞，然後拆分為字符。詞彙量為 6144。
• 使用了 fugashi 和 unidic-lite 包進行分詞。

訓練過程

• 模型的訓練配置與原始 BERT 相同，每個實例 512 個標記，每個批次 256 個實例，共進行 100 萬步訓練。
• 在掩碼語言模型（MLM）目標訓練中，引入了全詞掩碼，即對應於單個單詞（由 MeCab 分詞）的所有子詞標記會一次性被掩碼。
• 每個模型的訓練使用了 TensorFlow Research Cloud 計劃 提供的 v3 - 8 實例的 Cloud TPU，訓練耗時約 5 天。

📄 許可證

預訓練模型根據 知識共享署名 - 相同方式共享 3.0 條款進行分發。

致謝

該模型使用了 TensorFlow Research Cloud 計劃提供的 Cloud TPU 進行訓練。