Bart Large Japanese

🚀 日本語BART largeモデルカード

このモデルは、日本語Wikipediaで事前学習された日本語BART largeモデルです。自然言語処理タスクにおいて、高い性能を発揮します。

🚀 クイックスタート

モデルの使用方法

このモデルは以下のように使用できます。

from transformers import AutoTokenizer, MBartForConditionalGeneration
tokenizer = AutoTokenizer.from_pretrained('ku-nlp/bart-large-japanese')
model = MBartForConditionalGeneration.from_pretrained('ku-nlp/bart-large-japanese')
sentence = '京都 大学 で 自然 言語 処理 を 専攻 する 。'  # input should be segmented into words by Juman++ in advance
encoding = tokenizer(sentence, return_tensors='pt')
...

このモデルは下流タスクでファインチューニングすることも可能です。

✨ 主な機能

• 日本語Wikipediaを用いた事前学習により、日本語の自然言語処理タスクに適しています。
• 下流タスクでのファインチューニングが可能です。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, MBartForConditionalGeneration
tokenizer = AutoTokenizer.from_pretrained('ku-nlp/bart-large-japanese')
model = MBartForConditionalGeneration.from_pretrained('ku-nlp/bart-large-japanese')
sentence = '京都 大学 で 自然 言語 処理 を 専攻 する 。'  # input should be segmented into words by Juman++ in advance
encoding = tokenizer(sentence, return_tensors='pt')
...

高度な使用法

このモデルは下流タスクでファインチューニングすることができます。具体的な手順は、各タスクに応じて異なります。

📚 ドキュメント

トークン化

入力テキストは、事前にJuman++で単語に分割する必要があります。事前学習にはJuman++ 2.0.0-rc3が使用されました。各単語は、sentencepieceによってサブワードにトークン化されます。

学習データ

事前学習には以下のコーパスが使用されました。

• 日本語Wikipedia (1800万文)

学習手順

まず、コーパス内のテキストをJuman++を用いて単語に分割しました。 次に、単語（JumanDIC）とsentencepieceのユニグラム言語モデルによって誘導されたサブワードを含む32000トークンのsentencepieceモデルを構築しました。

分割されたコーパスをsentencepieceモデルを用いてサブワードにトークン化し、fairseqライブラリを用いて日本語BARTモデルを学習させました。 学習には、4台のTesla V100 GPUを用いて約1ヶ月かかりました。

事前学習中に使用されたハイパーパラメータは以下の通りです。

📄 ライセンス

このモデルはCC BY-SA 4.0ライセンスの下で提供されています。