Kogpt2

🚀 KoGPT2-Transformers

KoGPT2-Transformers 項目實現了在 Huggingface Transformers 框架中使用 KoGPT2 模型。它為開發者提供了便捷的方式，能夠在 Transformers 生態中利用 KoGPT2 的強大語言生成能力，可應用於日常對話、文本生成等多種場景。

🚀 快速開始

• 本項目將 SKT-AI 公開的 KoGPT2 (ver 1.0) 適配到了 Transformers 框架中，方便用戶使用。
• 值得注意的是，SKT-AI 已經公開了 KoGPT2 2.0 版本，鏈接為：https://huggingface.co/skt/kogpt2-base-v2/

✨ 主要特性

演示示例

• 日常對話聊天機器人：http://demo.tmkor.com:36200/dialo
• 化妝品評論生成：http://demo.tmkor.com:36200/ctrl

💻 使用示例

基礎用法

from transformers import GPT2LMHeadModel, PreTrainedTokenizerFast

model = GPT2LMHeadModel.from_pretrained("taeminlee/kogpt2")
tokenizer = PreTrainedTokenizerFast.from_pretrained("taeminlee/kogpt2")

input_ids = tokenizer.encode("안녕", add_special_tokens=False, return_tensors="pt")
output_sequences = model.generate(input_ids=input_ids, do_sample=True, max_length=100, num_return_sequences=3)
for generated_sequence in output_sequences:
    generated_sequence = generated_sequence.tolist()
    print("GENERATED SEQUENCE : {0}".format(tokenizer.decode(generated_sequence, clean_up_tokenization_spaces=True)))