Kochatbart

🚀 😎 KoChatBART

BART(https://arxiv.org/pdf/1910.13461.pdf)は、入力テキストの一部にノイズを追加し、それを元の文章に復元するオートエンコーダの形で学習されます。韓国語チャットBART（以下、KoChatBART）は、論文で使用されたText Infillingノイズ関数を使用して、約10GB以上の韓国語会話テキストに対して学習された韓国語のエンコーダ - デコーダ型の言語モデルです。これにより導き出された会話生成に強いKoChatBART-baseを配布します。

🚀 クイックスタート

from transformers import AutoTokenizer, BartForConditionalGeneration
  
tokenizer = AutoTokenizer.from_pretrained("BM-K/KoChatBART")
model = BartForConditionalGeneration.from_pretrained("BM-K/KoChatBART")

inputs = tokenizer("안녕 세상아!", return_tensors="pt")
outputs = model(**inputs)

📚 ドキュメント

事前学習データの前処理

使用したデータセット

• 主題別テキスト日常会話データ
• 小規模事業者顧客注文質問 - 応答テキスト
• 韓国語SNS
• 民願業務自動化人工知能言語データ

KoChatBARTを学習するために、韓国語会話データセットを前処理した後、結合して大量の韓国語会話コーパスを作成しました。

1. データの重複を減らすために、'ㅋㅋㅋㅋㅋㅋ'のような重複表現が2回以上繰り返される場合は、'ㅋㅋ'のように2回に変更しました。
2. 短すぎるデータは学習の妨げになる可能性があるため、KoBARTトークナイザーを基準に、全トークン長が3を超えるデータのみを選択しました。
3. 仮名処理されたデータは削除しました。

モデル情報

会話生成性能測定

次のコード(Dialogue Generator)を基に各モデルをファインチューニングしました。会話生成性能を測定するために、推論時にトークナイズされて生成された応答を復元した後、BPEトークナイザーを使用して実際の応答と生成された応答の間のオーバーラップと区別を測定しました。

⚠️ 重要な注意

一般的に短い会話データでモデルを事前学習しているため、長文処理が必要なタスク（要約など）に対しては弱い性能を示します。

実験結果

• 感情会話データ

• 小規模事業者会話データ

🔗 貢献者

📄 参考文献

• KoBART