Bert Large Japanese

🚀 BERT large Japanese (unidic-lite with whole word masking, jawiki-20200831)

このモデルは、日本語のテキストで事前学習されたBERTモデルです。このモデルは、Unidic 2.1.2辞書に基づく単語レベルのトークン化を行った後、WordPieceサブワードトークン化を適用して入力テキストを処理します。また、マスク言語モデリング（MLM）の目的で、ワード全体のマスキングを有効にして学習されています。

🚀 クイックスタート

このモデルは日本語のテキストに対して事前学習されており、cl-tohoku/bert-japaneseに事前学習のコードが公開されています。

✨ 主な機能

• 日本語のテキストを対象とした事前学習モデル。
• Unidic 2.1.2辞書に基づく単語レベルのトークン化とWordPieceサブワードトークン化を組み合わせた入力処理。
• マスク言語モデリング（MLM）の目的でワード全体のマスキングを有効にした学習。

📚 ドキュメント

モデルアーキテクチャ

モデルアーキテクチャは、元のBERT largeモデルと同じです。24層、隠れ状態の次元数は1024、アテンションヘッドは16です。

学習データ

このモデルは、日本語版のWikipediaを学習データとして使用しています。学習コーパスは、2020年8月31日時点のWikipedia Cirrussearchダンプファイルから生成されています。生成されたコーパスファイルの合計サイズは4.0GBで、約3000万文を含んでいます。テキストを文に分割するために、MeCab形態素解析器とmecab-ipadic-NEologd辞書を使用しています。

トークン化

テキストはまずMeCabでUnidic 2.1.2辞書を使用してトークン化され、その後WordPieceアルゴリズムによってサブワードに分割されます。語彙サイズは32768です。トークン化にはfugashiとunidic-liteパッケージを使用しています。

学習

モデルは、元のBERTと同じ設定で学習されています。1インスタンスあたり512トークン、1バッチあたり256インスタンス、学習ステップは100万回です。マスク言語モデリング（MLM）の目的の学習では、MeCabでトークン化された単語に対応するすべてのサブワードトークンを一度にマスクするワード全体のマスキングを導入しています。各モデルの学習には、TensorFlow Research Cloud programから提供されるCloud TPUのv3 - 8インスタンスを使用しており、学習には約5日かかりました。

📄 ライセンス

事前学習されたモデルは、Creative Commons Attribution - ShareAlike 3.0の条項に基づいて配布されています。

謝辞

このモデルは、TensorFlow Research Cloudプログラムから提供されるCloud TPUを使用して学習されています。