Bert Base Japanese Char

🚀 BERT base Japanese (character tokenization)

このモデルは、日本語のテキストで事前学習されたBERTモデルです。このバージョンのモデルは、IPA辞書に基づく単語レベルのトークン化を行った後、文字レベルのトークン化で入力テキストを処理します。事前学習のコードはcl-tohoku/bert-japaneseで入手できます。

🚀 クイックスタート

このモデルは日本語のテキストに対して事前学習されており、様々な自然言語処理タスクに利用できます。

✨ 主な機能

• 日本語のテキストを対象とした事前学習が行われています。
• 単語レベルのトークン化と文字レベルのトークン化を組み合わせた処理が可能です。

📚 ドキュメント

🔍 モデルアーキテクチャ

モデルアーキテクチャは、元のBERT baseモデルと同じです。12層、隠れ状態の次元数は768、アテンションヘッドは12個です。

📊 学習データ

このモデルは、2019年9月1日時点の日本語版Wikipediaで学習されています。学習コーパスを生成するために、WikiExtractorを使用してWikipedia記事のダンプファイルから平文を抽出しています。学習に使用されるテキストファイルのサイズは2.6GBで、約1700万文から構成されています。

🔧 トークン化

テキストはまずMeCab形態素解析器を用いてIPA辞書でトークン化され、その後文字に分割されます。語彙サイズは4000です。

📈 学習

このモデルは、元のBERTと同じ設定で学習されています。1インスタンスあたり512トークン、1バッチあたり256インスタンス、学習ステップは100万回です。

📄 ライセンス

事前学習されたモデルは、Creative Commons Attribution - ShareAlike 3.0の条件で配布されています。

👏 謝辞

モデルの学習には、TensorFlow Research Cloudプログラムによって提供されるCloud TPUを使用しました。