Youth Chatbot Kogpt2 Base

🚀 Youth_Chatbot_KoGPT2-base

このプロジェクトは、KoGPT2をベースにした若者向けチャットボットです。デモウェブやAPIを通じて簡単に試すことができます。

🚀 クイックスタート

デモ関連リンク

• デモウェブ: Ainize Endpoint
• デモウェブコード: Github
• Youth-Chatbot API: Ainize API

概要

💻 使用例

基本的な使用法

# コードとコメントを保持
from transformers import PreTrainedTokenizerFast, GPT2LMHeadModel
U_TKN = '<usr>'
S_TKN = '<sys>'
MASK = '<unused0>'
SENT = '<unused1>'
tokenizer = PreTrainedTokenizerFast.from_pretrained("EasthShin/Youth_Chatbot_Kogpt2-base",
  bos_token='</s>', eos_token='</s>', unk_token='<unk>',
  pad_token='<pad>', mask_token=MASK)

model = GPT2LMHeadModel.from_pretrained('EasthShin/Youth_Chatbot_Kogpt2-base')
input_ids = tokenizer.encode(U_TKN + {your text} + sent + S_TKN)
gen_ids = model.generate(torch.tensor([input_ids]),
                                 max_length=128,
                                 repetition_penalty= 2.0,
                                 pad_token_id=tokenizer.pad_token_id,
                                 eos_token_id=tokenizer.eos_token_id,
                                 bos_token_id=tokenizer.bos_token_id,
                                 use_cache=True)

generated = tokenizer.decode(gen_ids[0, :].tolist())

print(generated)