Youth Chatbot Kogpt2 Base

🚀 Youth_Chatbot_KoGPT2-base

Youth_Chatbot_KoGPT2-base 是一个基于 KoGPT2 语言模型的聊天机器人项目，使用韩语进行交互，为用户提供聊天服务。你可以通过演示网页体验，也能查看相关代码和使用 API 接入。

🚀 快速开始

你可以通过以下链接访问相关资源：

• Demo Web：Ainize Endpoint
• Demo Web Code：Github
• Youth-Chatbot API：Ainize API

✨ 主要特性

• 语言模型：采用 KoGPT2 语言模型。
• 语言支持：支持韩语交流。
• 训练数据：使用 Aihub 的数据进行训练。

💻 使用示例

基础用法

from transformers import PreTrainedTokenizerFast, GPT2LMHeadModel
U_TKN = '<usr>'
S_TKN = '<sys>'
MASK = '<unused0>'
SENT = '<unused1>'
tokenizer = PreTrainedTokenizerFast.from_pretrained("EasthShin/Youth_Chatbot_Kogpt2-base",
  bos_token='</s>', eos_token='</s>', unk_token='<unk>',
  pad_token='<pad>', mask_token=MASK)

model = GPT2LMHeadModel.from_pretrained('EasthShin/Youth_Chatbot_Kogpt2-base')
input_ids = tokenizer.encode(U_TKN + {your text} + sent + S_TKN)
gen_ids = model.generate(torch.tensor([input_ids]),
                                 max_length=128,
                                 repetition_penalty= 2.0,
                                 pad_token_id=tokenizer.pad_token_id,
                                 eos_token_id=tokenizer.eos_token_id,
                                 bos_token_id=tokenizer.bos_token_id,
                                 use_cache=True)

generated = tokenizer.decode(gen_ids[0, :].tolist())

print(generated)