Bert Base Japanese Char Whole Word Masking

🚀 BERT基礎日文模型（字符分詞，啟用全詞掩碼）

本項目是一個基於日文文本預訓練的 BERT 模型。該模型能夠有效處理日文文本，為自然語言處理任務提供強大支持。

🚀 快速開始

本模型是基於日文文本進行預訓練的 BERT 模型。此版本的模型會先基於 IPA 詞典進行詞級別的分詞處理輸入文本，隨後進行字符級別的分詞。此外，該模型在訓練掩碼語言模型（MLM）目標時啟用了全詞掩碼。

預訓練的代碼可在 cl-tohoku/bert-japanese 查看。

✨ 主要特性

• 分詞方式：先使用 MeCab 形態分析器和 IPA 詞典進行分詞，再將其拆分為字符。
• 全詞掩碼：在訓練掩碼語言模型（MLM）目標時，引入了全詞掩碼機制，即一次性掩碼與單個單詞（由 MeCab 分詞）對應的所有子詞標記。

📚 詳細文檔

模型架構

模型架構與原始的 BERT 基礎模型相同，包含 12 層、768 維的隱藏狀態和 12 個注意力頭。

訓練數據

模型使用了截至 2019 年 9 月 1 日的日文維基百科數據進行訓練。為了生成訓練語料庫，使用 WikiExtractor 從維基百科文章的轉儲文件中提取純文本。用於訓練的文本文件大小為 2.6GB，約包含 1700 萬個句子。

分詞處理

文本首先通過 MeCab 形態分析器和 IPA 詞典進行分詞，然後拆分為字符。詞彙表大小為 4000。

訓練設置

模型的訓練配置與原始 BERT 相同，每個實例 512 個標記，每個批次 256 個實例，共進行 100 萬步的訓練。

📄 許可證

預訓練模型根據 知識共享署名 - 相同方式共享 3.0 許可條款進行分發。

致謝

在訓練模型時，我們使用了 TensorFlow 研究雲 計劃提供的 Cloud TPU。