Bert Base Japanese

🚀 BERT base Japanese (IPA dictionary)

このモデルは、日本語のテキストで事前学習されたBERTモデルです。このバージョンのモデルは、IPA辞書に基づく単語レベルのトークン化を行った後、WordPieceサブワードトークン化を使用して入力テキストを処理します。事前学習のコードはcl-tohoku/bert-japaneseで公開されています。

🚀 クイックスタート

このモデルは日本語のテキストに対して事前学習されており、特定のタスクに微調整することができます。事前学習のコードは上記のリンクから入手できます。

✨ 主な機能

• 日本語テキストに対する事前学習済みのBERTモデルです。
• IPA辞書に基づく単語レベルのトークン化とWordPieceサブワードトークン化を組み合わせた入力処理。

📚 ドキュメント

モデルアーキテクチャ

モデルアーキテクチャは、元のBERT baseモデルと同じです。12層、隠れ状態の次元数は768、アテンションヘッドは12個です。

トレーニングデータ

このモデルは、2019年9月1日時点の日本語版Wikipediaを使用してトレーニングされています。トレーニングコーパスの生成には、WikiExtractorを用いてWikipedia記事のダンプファイルから平文を抽出しました。トレーニングに使用されたテキストファイルのサイズは2.6GBで、約1700万文から構成されています。

トークン化

テキストはまずMeCab形態素解析器を使用してIPA辞書でトークン化され、その後WordPieceアルゴリズムによってサブワードに分割されます。語彙サイズは32000です。

トレーニング

このモデルは、元のBERTと同じ設定でトレーニングされています。1インスタンスあたり512トークン、1バッチあたり256インスタンス、トレーニングステップは100万回です。

ライセンス

事前学習済みモデルは、Creative Commons Attribution-ShareAlike 3.0の条件で配布されています。

謝辞

モデルのトレーニングには、TensorFlow Research Cloudプログラムから提供されたCloud TPUを使用しました。

📄 ライセンス

このモデルはCreative Commons Attribution-ShareAlike 4.0のライセンスの下で提供されています。