Bert Base Japanese Char V2

🚀 BERT base Japanese (文字レベルのトークン化と全単語マスキング、jawiki-20200831)

このモデルは、日本語のテキストで事前学習されたBERTモデルです。このバージョンのモデルは、Unidic 2.1.2辞書（unidic-liteパッケージで利用可能）に基づく単語レベルのトークン化を行った後、文字レベルのトークン化を行って入力テキストを処理します。さらに、マスク言語モデリング（MLM）の目的で全単語マスキングが有効になっています。

事前学習のコードはcl-tohoku/bert-japaneseで公開されています。

📚 詳細文档

🔧 モデルアーキテクチャ

モデルアーキテクチャは、元のBERT baseモデルと同じです。12層、隠れ状態の次元数は768、アテンションヘッドは12個です。

🔧 トレーニングデータ

このモデルは、日本語版のWikipediaでトレーニングされています。トレーニングコーパスは、2020年8月31日時点のWikipedia Cirrussearchダンプファイルから生成されています。生成されたコーパスファイルの合計サイズは4.0GBで、約3000万文を含んでいます。テキストを文に分割するために、MeCab形態素解析器とmecab-ipadic-NEologd辞書を使用しています。

🔧 トークン化

テキストはまずMeCabでUnidic 2.1.2辞書を使用してトークン化され、その後文字に分割されます。語彙サイズは6144です。トークン化にはfugashiとunidic-liteパッケージを使用しています。

🔧 トレーニング

このモデルは、元のBERTと同じ設定でトレーニングされています。1インスタンスあたり512トークン、1バッチあたり256インスタンス、トレーニングステップは100万回です。MLM（マスク言語モデリング）の目的のトレーニングでは、単一の単語（MeCabでトークン化された）に対応するすべてのサブワードトークンを一度にマスクする全単語マスキングを導入しています。

各モデルのトレーニングには、TensorFlow Research Cloud programが提供するCloud TPUのv3 - 8インスタンスを使用しています。トレーニングには約5日かかりました。

📄 ライセンス

事前学習されたモデルは、Creative Commons Attribution - ShareAlike 3.0の条項に基づいて配布されています。

🎉 謝辞

このモデルは、TensorFlow Research Cloudプログラムが提供するCloud TPUを使用してトレーニングされています。

📋 情報一覧