Personagpt

🚀 多様な性格を持つ会話エージェント (PersonaGPT)

PersonaGPTは、オープンドメインの会話エージェントで、以下の2つのタスクを行うように設計されています。

1. 入力された性格情報（ボットの「ペルソナ」プロファイル）に基づいて、「個別化」された応答を生成する。
2. 「アクションコード」（例：「仕事について話す」、「好きな音楽を尋ねる」）を通じて、応答に「ターンレベルの目標」を組み込む。

このモデルは、[GPT - 2](https://github.com/openai/gpt - 2)アーキテクチャに基づく[DialoGPT - medium](https://huggingface.co/microsoft/DialoGPT - medium)事前学習モデルをベースに構築されています。このモデルは、Persona - Chatデータセットで学習され、対話履歴と性格特性をより良く区別するために特別なトークンが追加されています。さらに、ターンレベルの目標を使用した「制御された」デコードを行うように、能動的学習が一部使用されています。

📚 完全なリポジトリ

前処理、学習、実装の詳細は、personaGPTリポジトリで確認できます。

🚀 クイックスタート

📦 インストール

このセクションでは、必要なライブラリをインストールし、モデルをロードする手順を説明します。

from transformers import GPT2Tokenizer, GPT2LMHeadModel
import torch
tokenizer = GPT2Tokenizer.from_pretrained("af1tang/personaGPT")
model = GPT2LMHeadModel.from_pretrained("af1tang/personaGPT")
if torch.cuda.is_available():
    model = model.cuda()
## ユーティリティ関数 ##
flatten = lambda l: [item for sublist in l for item in sublist]

def to_data(x):
    if torch.cuda.is_available():
        x = x.cpu()
    return x.data.numpy()

def to_var(x):
    if not torch.is_tensor(x):
        x = torch.Tensor(x)
    if torch.cuda.is_available():
        x = x.cuda()
    return x

def display_dialog_history(dialog_hx):
    for j, line in enumerate(dialog_hx):
        msg = tokenizer.decode(line)
        if j %2 == 0:
            print(">> User: "+ msg)
        else:
            print("Bot: "+msg)
            print()

def generate_next(bot_input_ids, do_sample=True, top_k=10, top_p=.92,
                  max_length=1000, pad_token=tokenizer.eos_token_id):
    full_msg = model.generate(bot_input_ids, do_sample=True,
                                              top_k=top_k, top_p=top_p, 
                                              max_length=max_length, pad_token_id=tokenizer.eos_token_id)
    msg = to_data(full_msg.detach()[0])[bot_input_ids.shape[-1]:]
    return msg

💻 使用例

基本的な使用法

1. チャットボットに性格情報を与える

# 会話用の性格情報を取得
personas = []
for i in range(3):
    response = input(">> Fact %d: "%(i+1))+ tokenizer.eos_token
    personas.append(response)
personas = tokenizer.encode(''.join(['<|p2|>'] + personas + ['<|sep|>'] + ['<|start|>']))

2. 個別化された会話生成

# 8ターンの会話
dialog_hx = []
for step in range(8):
    # ユーザー入力をエンコード
    user_inp = tokenizer.encode(input(">> User: ") + tokenizer.eos_token)
    # 会話履歴に追加
    dialog_hx.append(user_inp)
        
    # 総会話履歴を1000トークンに制限しながら応答を生成
    bot_input_ids = to_var([personas + flatten(dialog_hx)]).long()
    msg = generate_next(bot_input_ids)
    dialog_hx.append(msg)
    print("Bot: {}".format(tokenizer.decode(msg, skip_special_tokens=True)))

個別化デコードの例

高度な使用法

3. 制御された応答生成

## 利用可能なアクション ##
action_space = [ 'ask about kids.', "ask about pets.", 'talk about work.', 
               'ask about marital status.', 'talk about travel.', 'ask about age and gender.',
        'ask about hobbies.', 'ask about favorite food.', 'talk about movies.', 
        'talk about music.', 'talk about politics.']
# 8ターンの会話
dialog_hx = []
for step in range(8):
    # アクションを選択
    act = None
    while act not in action_space:
        display_dialog_history(dialog_hx)
        print()
        print(" actions: ")
        for k,v in enumerate(action_space): print(k,v)
        try:
            act = action_space[int(input(" input [0 - 10]: " ))]
        except:
            act = None
    print()
    # プレフィックスコードに整形
    action_prefix = tokenizer.encode(''.join(['<|act|> '] + [act] + ['<|p1|>'] + [] + ['<|sep|>'] + ['<|start|>']))
    bot_input_ids = to_var([action_prefix + flatten(dialog_hx)]).long()
    
    # アクションに基づいてクエリを生成
    msg = generate_next(bot_input_ids, top_k=top_k, top_p=top_p, max_length=max_length)
    dialog_hx.append(msg)
    
    # ボットの応答を生成
    bot_input_ids = to_var([personas+ flatten(dialog_hx)]).long()
    msg = generate_next(bot_input_ids, top_k=top_k, top_p=top_p, max_length=max_length)
    dialog_hx.append(msg)
display_dialog_history(dialog_hx)

制御された応答生成の例

📄 ライセンス

このプロジェクトは、GPL - 3.0ライセンスの下で公開されています。