Kogpt2

🚀 KoGPT2-Transformers

KoGPT2-Transformersプロジェクトは、Huggingface TransformersフレームワークでKoGPT2モデルを使用することを実現しました。開発者にとって、Transformersエコシステム内でKoGPT2の強力な言語生成能力を活用する便利な手段を提供し、日常会話やテキスト生成などの様々なシーンに応用できます。

🚀 クイックスタート

• このプロジェクトは、SKT-AIが公開したKoGPT2 (ver 1.0) を Transformers フレームワークに適合させ、ユーザーが使いやすいようにしています。
• なお、SKT-AIは既にKoGPT2 2.0バージョンを公開しており、リンクはこちらです：https://huggingface.co/skt/kogpt2-base-v2

✨ 主な機能

デモ例

• 日常会話用チャットボット：http://demo.tmkor.com:36200/dialo
• 化粧品レビュー生成：http://demo.tmkor.com:36200/ctrl

💻 使用例

基本的な使用法

from transformers import GPT2LMHeadModel, PreTrainedTokenizerFast

model = GPT2LMHeadModel.from_pretrained("taeminlee/kogpt2")
tokenizer = PreTrainedTokenizerFast.from_pretrained("taeminlee/kogpt2")

input_ids = tokenizer.encode("안녕", add_special_tokens=False, return_tensors="pt")
output_sequences = model.generate(input_ids=input_ids, do_sample=True, max_length=100, num_return_sequences=3)
for generated_sequence in output_sequences:
    generated_sequence = generated_sequence.tolist()
    print("GENERATED SEQUENCE : {0}".format(tokenizer.decode(generated_sequence, clean_up_tokenization_spaces=True)))