Bert Large Japanese Char

🚀 BERT large Japanese (文字レベルのトークン化と全単語マスキング、jawiki-20200831)

このモデルは、日本語のテキストで事前学習されたBERTモデルです。このモデルは、Unidic 2.1.2辞書（unidic-liteパッケージで利用可能）に基づく単語レベルのトークン化を行った後、文字レベルのトークン化を行います。また、マスク言語モデリング（MLM）の目的で、全単語マスキングを有効にして学習されています。

事前学習のコードはcl-tohoku/bert-japaneseで公開されています。

✨ 主な機能

• 日本語のテキストに対する事前学習済みBERTモデルです。
• 単語レベルのトークン化と文字レベルのトークン化を組み合わせています。
• 全単語マスキングを用いたマスク言語モデリングで学習されています。

📚 ドキュメント

モデルアーキテクチャ

モデルアーキテクチャは、オリジナルのBERT largeモデルと同じです。24層、隠れ状態の次元数は1024、アテンションヘッドは16です。

学習データ

このモデルは、日本語版Wikipediaを用いて学習されています。学習コーパスは、2020年8月31日時点のWikipedia Cirrussearchダンプファイルから生成されています。

生成されたコーパスファイルの合計サイズは4.0GBで、約3000万文を含んでいます。文章の分割には、MeCab形態素解析器とmecab-ipadic-NEologd辞書を使用しています。

トークン化

テキストはまずMeCabでUnidic 2.1.2辞書を用いてトークン化され、その後文字に分割されます。語彙サイズは6144です。

トークン化には、fugashiとunidic-liteパッケージを使用しています。

学習

モデルの学習は、オリジナルのBERTと同じ設定で行われています。1インスタンスあたり512トークン、1バッチあたり256インスタンス、学習ステップは100万です。

マスク言語モデリング（MLM）の学習では、全単語マスキングを導入しており、単一の単語（MeCabでトークン化されたもの）に対応するすべてのサブワードトークンが一度にマスクされます。

各モデルの学習には、TensorFlow Research Cloudプログラムから提供されるv3-8インスタンスのCloud TPUを使用しています。学習には約5日かかりました。

ライセンス

事前学習済みモデルは、Creative Commons Attribution-ShareAlike 3.0の条項に基づいて配布されています。

謝辞

このモデルは、TensorFlow Research Cloudプログラムから提供されるCloud TPUを用いて学習されています。

データセット

ウィジェット

• テキスト: 東北大学で[MASK]の研究をしています。

ライセンス情報

このプロジェクトはCC BY-SA 4.0ライセンスの下で提供されています。