Bart Base Japanese

🚀 日本語BARTベースモデルカード

このモデルは、日本語のWikipediaデータで事前学習された日本語BARTベースモデルです。自然言語処理タスクに活用できます。

🚀 クイックスタート

このモデルを以下のように使用することができます。また、下流タスクで微調整することも可能です。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, MBartForConditionalGeneration
tokenizer = AutoTokenizer.from_pretrained('ku-nlp/bart-base-japanese')
model = MBartForConditionalGeneration.from_pretrained('ku-nlp/bart-base-japanese')
sentence = '京都 大学 で 自然 言語 処理 を 専攻 する 。'  # input should be segmented into words by Juman++ in advance
encoding = tokenizer(sentence, return_tensors='pt')
...

📚 ドキュメント

トークナイゼーション

入力テキストは、事前にJuman++で単語に分割する必要があります。事前学習にはJuman++ 2.0.0-rc3が使用されました。各単語はsentencepieceによってサブワードにトークナイズされます。

学習データ

事前学習には以下のコーパスが使用されました。

• 日本語Wikipedia (18M文)

学習手順

まず、コーパス内のテキストをJuman++を使用して単語に分割しました。次に、単語（JumanDIC）とsentencepieceのユニグラム言語モデルによって誘導されたサブワードを含む32000トークンのsentencepieceモデルを構築しました。

構築したsentencepieceモデルを使用して、分割されたコーパスをサブワードにトークナイズし、fairseqライブラリを使用して日本語BARTモデルを学習させました。学習には4台のTesla V100 GPUを使用して2週間かかりました。

事前学習中に使用されたハイパーパラメータは以下の通りです。

📄 ライセンス

このモデルはCC BY-SA 4.0ライセンスの下で提供されています。