Distilgpt2 Tiny Conversational

🚀 distilgpt2-tiny-conversational

このモデルは、distilgpt2 を Wizard of Wikipedia の解析バージョンでファインチューニングしたものです。Persona alpha/beta フレームワークは、ai-msgbot と共に使用するように設計されています。評価セットでは以下の結果を達成しています。

• 損失: 2.2461

🚀 クイックスタート

このモデルは会話用の基本的な対話モデルで、チャットボットとして使用できます。ここで簡単なデモを試すことができます。

✨ 主な機能

• テキスト生成、チャットボット、対話などのタスクに対応。
• 2人のエンティティ person alpha と person beta 間の会話を生成できる。

📦 インストール

インストールに関する具体的な手順は提供されていません。

💻 使用例

基本的な使用法

以下は、モデルを使用した推論のパラメータ設定例です。

inference = {
    "parameters": {
        "min_length": 2,
        "max_length": 64,
        "length_penalty": 0.7,
        "no_repeat_ngram_size": 2,
        "do_sample": True,
        "top_p": 0.95,
        "top_k": 20,
        "temperature": 0.3,
        "repetition_penalty": 3.5
    }
}

高度な使用法

以下は、ウィジェットで提供されるいくつかの入力例です。

widget = [
    {
        "text": "I know you're tired, but can we go for another walk this evening?\nperson beta:\n\n",
        "example_title": "walk"
    },
    {
        "text": "Have you done anything exciting lately?\nperson beta:\n\n",
        "example_title": "activities"
    },
    # 他のウィジェット例も同様に記載
]

📚 ドキュメント

想定される用途と制限

• このモデルは、ai-msgbot との統合を目的として設計されています。
• モデルは person alpha と person beta という2つのエンティティ間の完全な会話を生成します。これらのエンティティ名は、1つの応答が終了し、別の応答が始まるタイミングを抽出するためのカスタム <bos> トークンとして機能します。

学習と評価データ

• wizard of Wikipedia の解析データを使用しています。

学習手順

• deepspeed + huggingface trainer を使用して学習しています。サンプルノートブックは ai-msgbot にあります。

学習ハイパーパラメータ

学習時には以下のハイパーパラメータが使用されました。

学習結果

フレームワークバージョン

• Transformers 4.16.1
• Pytorch 1.10.0+cu111
• Tokenizers 0.11.0

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。