Dialogpt Medium Spanish Chitchat

🚀 スペイン語チャット版DialoGPT-medium

これは、Transformerデコーダーに基づくGPT - 2モデルで、スペイン語の単ターン対話タスクに特化して調整されています。私たちは、マイクロソフトのDialoGPT - mediumの3.45億パラメータモデルを、CLM（因果言語モデリング）の目標に沿って微調整しました。

🚀 クイックスタート

このモデルは、微調整されたGPT - 2モデルで、スペイン語の単ターン対話タスクに適しています。以下では、その使用方法を詳しく説明します。

✨ 主な機能

• Transformerデコーダーアーキテクチャに基づき、スペイン語の単ターン対話タスクに特化しています。
• マイクロソフトのDialoGPT - mediumモデルから微調整され、3.45億のパラメータを持っています。
• CLM（因果言語モデリング）の目標に沿って訓練されています。

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

CHAT_TURNS = 5
MAX_LENGTH = 1000

model = AutoModelForCausalLM.from_pretrained('ITG/DialoGPT-medium-spanish-chitchat')
tokenizer = AutoTokenizer.from_pretrained('ITG/DialoGPT-medium-spanish-chitchat')
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model.to(device)
for i in range(CHAT_TURNS):
  user_input = input(f"Step - {i} >> user prompt ->")
  with torch.no_grad():
    # User turn, where "user_input" is the question (single-turn dialogue task)
    user_inputs_ids = tokenizer.encode(user_input + tokenizer.eos_token, return_tensors="pt")
    user_inputs_ids = user_inputs_ids.to(device)
    # The chat history adds the generated tokens for the answer
    chat_history = model.generate(user_inputs_ids, max_length=MAX_LENGTH, pad_token_id=tokenizer.eos_token_id)
    # decode just the last generated output tokens from the model (do not include the user prompt again)
    step_model_answer = tokenizer.decode(chat_history[:, user_inputs_ids.shape[-1]:][0], skip_special_tokens=True)
  print(f"Step - {i} >> DialoGPT-spanish model answer -> {step_model_answer}")

対話例の表示

📚 ドキュメント

データセット

私たちは、Bot Framework Toolsリポジトリで利用可能なデータセットの1つを使用しました。私たちは、スペイン語のプロフェッショナルなスタイルの個性的なチャットデータセットを処理しました。このファイルはここからダウンロードできます。

微調整のハイパーパラメータ

異なるデータセットやスタイルでの微調整

独自の対話モデルを微調整したい場合は、DialoGPTモデルから始めることをおすすめします。元のGitHubリポジトリを参照することができます。

制限事項

• このモデルは、GPT - 2論文の元の英語のトークナイザーを使用しています。スペイン語のトークナイズは考慮されていませんが、テキストエンコーディングの構文構造には類似点があります。この重複は、モデルが英語からスペイン語への知識を移行するのに役立つ可能性があります。さらに、GPT - 2トークナイザーのBPE（バイトペアエンコーディング）実装は、すべてのUnicode文字列に表現を割り当てることができます。 GPT - 2論文から引用：

  私たちの方法は、任意のUnicode文字列に確率を割り当てることができるため、前処理、トークナイズ、または語彙サイズを考慮することなく、任意のデータセットで言語モデルを評価することができます。

• このモデルは、スペイン語の単ターンチャット対話にのみ使用されます。
• このモデルの生成能力は、上記の微調整データセットの範囲に制限されています。
• このモデルは、短い回答を生成し、プロフェッショナルなスタイルでスペイン語の一般的なコンテキスト対話を提供します。

📄 ライセンス

このモデルはCC - BY - NC - ND - 4.0ライセンスの下で提供されています。