Bert Base Japanese Char Whole Word Masking

🚀 BERT base Japanese (文字トークナイゼーション、単語全体マスキング有効)

このモデルは、日本語のテキストで事前学習されたBERTモデルです。このモデルは、IPA辞書に基づく単語レベルのトークナイゼーションを行った後、文字レベルのトークナイゼーションで入力テキストを処理します。また、マスク言語モデリング（MLM）の目的で、単語全体マスキングが有効になっています。

事前学習のコードは、cl - tohoku/bert - japaneseで公開されています。

🚀 クイックスタート

このモデルは日本語のテキストに対して事前学習が行われており、様々な自然言語処理タスクに利用できます。

✨ 主な機能

• 日本語のテキストを、IPA辞書に基づく単語レベルのトークナイゼーションと文字レベルのトークナイゼーションで処理します。
• マスク言語モデリング（MLM）の目的で、単語全体マスキングを有効にしています。

📚 ドキュメント

モデルアーキテクチャ

モデルアーキテクチャは、元のBERT baseモデルと同じです。12層、隠れ状態の次元数は768、アテンションヘッドは12個です。

学習データ

このモデルは、2019年9月1日時点の日本語版Wikipediaで学習されています。学習コーパスを生成するために、WikiExtractorを使用してWikipedia記事のダンプファイルから平文を抽出しました。学習に使用されたテキストファイルのサイズは2.6GBで、約1700万文から構成されています。

トークナイゼーション

テキストは、まずMeCab形態素解析器を用いてIPA辞書でトークナイズされ、その後文字に分割されます。語彙サイズは4000です。

学習

このモデルは、元のBERTと同じ設定で学習されています。1インスタンスあたり512トークン、1バッチあたり256インスタンス、学習ステップは100万回です。

マスク言語モデリング（MLM）の目的の学習では、MeCabでトークナイズされた単語に対応するすべてのサブワードトークンを一度にマスクする単語全体マスキングを導入しています。

📄 ライセンス

事前学習済みモデルは、[Creative Commons Attribution - ShareAlike 3.0](https://creativecommons.org/licenses/by - sa/3.0/)の条項に基づいて配布されています。

🔧 技術詳細

• 学習には、TensorFlow Research Cloudプログラムが提供するCloud TPUを使用しています。

情報テーブル