Kogpt2

🚀 KoGPT2-Transformers

KoGPT2-Transformers 项目实现了在 Huggingface Transformers 框架中使用 KoGPT2 模型。它为开发者提供了便捷的方式，能够在 Transformers 生态中利用 KoGPT2 的强大语言生成能力，可应用于日常对话、文本生成等多种场景。

🚀 快速开始

• 本项目将 SKT-AI 公开的 KoGPT2 (ver 1.0) 适配到了 Transformers 框架中，方便用户使用。
• 值得注意的是，SKT-AI 已经公开了 KoGPT2 2.0 版本，链接为：https://huggingface.co/skt/kogpt2-base-v2/

✨ 主要特性

演示示例

• 日常对话聊天机器人：http://demo.tmkor.com:36200/dialo
• 化妆品评论生成：http://demo.tmkor.com:36200/ctrl

💻 使用示例

基础用法

from transformers import GPT2LMHeadModel, PreTrainedTokenizerFast

model = GPT2LMHeadModel.from_pretrained("taeminlee/kogpt2")
tokenizer = PreTrainedTokenizerFast.from_pretrained("taeminlee/kogpt2")

input_ids = tokenizer.encode("안녕", add_special_tokens=False, return_tensors="pt")
output_sequences = model.generate(input_ids=input_ids, do_sample=True, max_length=100, num_return_sequences=3)
for generated_sequence in output_sequences:
    generated_sequence = generated_sequence.tolist()
    print("GENERATED SEQUENCE : {0}".format(tokenizer.decode(generated_sequence, clean_up_tokenization_spaces=True)))