Bert Base Japanese Whole Word Masking

🚀 BERT base Japanese (IPA dictionary, whole word masking enabled)

このモデルは、日本語のテキストで事前学習されたBERTモデルです。このバージョンのモデルは、IPA辞書に基づく単語レベルのトークン化を行った後、WordPieceサブワードトークン化を用いて入力テキストを処理します。また、マスク言語モデリング（MLM）の目的で、ホールワードマスキングが有効になった状態で学習されています。

🚀 クイックスタート

このモデルは、日本語のテキスト理解や生成などのタスクに利用できます。事前学習のコードはcl-tohoku/bert-japaneseで公開されています。

✨ 主な機能

• 日本語のテキストに対する事前学習済みモデルです。
• IPA辞書を用いた単語レベルのトークン化とWordPieceサブワードトークン化を組み合わせています。
• ホールワードマスキングを用いたマスク言語モデリングで学習されています。

📚 ドキュメント

モデルアーキテクチャ

モデルアーキテクチャは、元のBERT baseモデルと同じです。12層、隠れ状態の次元数は768、アテンションヘッド数は12です。

学習データ

このモデルは、2019年9月1日時点の日本語ウィキペディアを用いて学習されています。学習コーパスの生成には、WikiExtractorを使用してウィキペディア記事のダンプファイルから平文を抽出しました。学習に使用されたテキストファイルのサイズは2.6GBで、約1700万文から構成されています。

トークン化

テキストはまず、IPA辞書を使用したMeCab形態素解析器でトークン化され、その後WordPieceアルゴリズムによってサブワードに分割されます。語彙サイズは32000です。

学習

このモデルは、元のBERTと同じ設定で学習されています。1インスタンスあたり512トークン、1バッチあたり256インスタンス、学習ステップ数は100万です。マスク言語モデリング（MLM）の目的の学習では、MeCabでトークン化された単語に対応するすべてのサブワードトークンを一度にマスクするホールワードマスキングを導入しています。

📄 ライセンス

事前学習済みモデルは、Creative Commons Attribution - ShareAlike 3.0の条項に基づいて配布されています。

謝辞

モデルの学習には、TensorFlow Research Cloudプログラムから提供されたCloud TPUを使用しました。