Bert Base Japanese Whole Word Masking

🚀 BERT基礎日語模型（IPA詞典，啟用全詞掩碼）

本項目是一個基於日語文本預訓練的 BERT 模型。該模型版本採用基於 IPA 詞典的詞級分詞處理輸入文本，隨後進行 WordPiece 子詞分詞。此外，該模型在訓練掩碼語言模型（MLM）目標時啟用了全詞掩碼。

預訓練代碼可在 cl-tohoku/bert-japanese 找到。

✨ 主要特性

• 模型架構與原始 BERT 基礎模型相同，包含 12 層、768 維隱藏狀態和 12 個注意力頭。
• 採用基於 IPA 詞典的詞級分詞和 WordPiece 子詞分詞處理輸入文本。
• 在訓練掩碼語言模型（MLM）目標時啟用全詞掩碼。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

文檔未提供代碼示例，故跳過此章節。

📚 詳細文檔

模型架構

模型架構與原始 BERT 基礎模型相同，具有 12 層、768 維隱藏狀態和 12 個注意力頭。

訓練數據

該模型基於 2019 年 9 月 1 日的日語維基百科進行訓練。為生成訓練語料庫，使用 WikiExtractor 從維基百科文章的轉儲文件中提取純文本。用於訓練的文本文件大小為 2.6GB，約包含 1700 萬個句子。

分詞

文本首先由 MeCab 形態分析器結合 IPA 詞典進行分詞，然後通過 WordPiece 算法拆分為子詞。詞彙表大小為 32000。

訓練

模型的訓練配置與原始 BERT 相同，每個實例 512 個標記，每個批次 256 個實例，訓練步數為 100 萬步。

在訓練掩碼語言模型（MLM）目標時，引入了 全詞掩碼 機制，即一次性對對應於單個單詞（由 MeCab 分詞）的所有子詞標記進行掩碼。

許可證

預訓練模型根據 知識共享署名 - 相同方式共享 3.0 許可條款分發。

致謝

在訓練模型時，使用了 TensorFlow 研究雲 計劃提供的 Cloud TPU。