Chatbot Fr

🚀 基於自定義分詞器在法語OpenSubtitles上訓練的DialogGPT模型

本項目是一個在法語OpenSubtitles數據集上使用自定義分詞器訓練的DialogGPT模型，可用於構建對話系統，為用戶提供智能對話服務。

🚀 快速開始

本模型是基於法語OpenSubtitles數據集訓練的DialogGPT模型，並使用了自定義分詞器。它基於microsoft/DialoGPT - medium的配置進行訓練。數據集是根據以下指南從opus下載的2018版OpenSubtitles生成的：

• 數據集生成指南
• 數據集生成Notebook

模型訓練使用了以下Notebook： 訓練Notebook

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelWithLMHead

tokenizer = AutoTokenizer.from_pretrained("cedpsam/chatbot_fr")

model = AutoModelWithLMHead.from_pretrained("cedpsam/chatbot_fr")

for step in range(6):
    # encode the new user input, add the eos_token and return a tensor in Pytorch
    new_user_input_ids = tokenizer.encode(input(">> User:") + tokenizer.eos_token, return_tensors='pt')
    # print(new_user_input_ids)

    # append the new user input tokens to the chat history
    bot_input_ids = torch.cat([chat_history_ids, new_user_input_ids], dim=-1) if step > 0 else new_user_input_ids

    # generated a response while limiting the total chat history to 1000 tokens, 
    chat_history_ids = model.generate(
        bot_input_ids, max_length=1000,
        pad_token_id=tokenizer.eos_token_id,
        top_p=0.92, top_k = 50
    )
    
    # pretty print last ouput tokens from bot
    print("DialoGPT: {}".format(tokenizer.decode(chat_history_ids[:, bot_input_ids.shape[-1]:][0], skip_special_tokens=True)))

高級用法

在上述基礎用法的基礎上，你可以根據實際需求調整模型生成的參數，例如max_length、top_p和top_k等，以獲得不同風格和長度的回覆。同時，你還可以將該模型集成到更復雜的對話系統中，結合其他技術實現更智能的交互。