Turkish Gpt2 Medium

🚀 トルコ語GPT-2ミディアムモデル

このモデルはトルコ語用のGPT-2ミディアムモデルです。GPT-2はテキスト生成タスクを目的として設計されており、与えられたテキスト断片を首尾一貫した文脈に沿って続きを生成する能力を備えています。トレーニングデータにはウェブサイト、書籍、その他のテキストソースが含まれるため、このモデルにはバイアスが存在する可能性があります。ユーザーはこれらのバイアスに留意し、責任を持ってモデルを使用する必要があります。

🚀 クイックスタート

このトルコ語GPT-2ミディアムモデルを使って、テキスト生成を行うことができます。

✨ 主な機能

• テキスト生成タスクに最適化されています。
• 与えられたテキスト断片を自然な形で続きを生成します。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, GPT2LMHeadModel
from transformers import pipeline

model = GPT2LMHeadModel.from_pretrained("ytu-ce-cosmos/turkish-gpt2-medium")
tokenizer = AutoTokenizer.from_pretrained("ytu-ce-cosmos/turkish-gpt2-medium")

text_generator = pipeline('text-generation', model=model, tokenizer=tokenizer)
r = text_generator("Teknolojinin gelişimi hayatımızı önemli ölçüde etkiledi. ", max_length=100)
[{'generated_text': 'Teknolojinin gelişimi hayatımızı önemli ölçüde etkiledi. "Teknoloji hayatın merkezindeyse, insan hayatında da önemli bir yere sahip demektir!" diyerek devam edelim.'}]

関連情報

関連情報は論文を参照してください。

📚 ドキュメント

このモデルに関する詳細な情報は、上記の論文を参照してください。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

謝辞

• GoogleのTensorFlow Research Cloud (TFRC) からのCloud TPUを使った研究支援に感謝します。TFRCへのアクセスを提供してくれたことに感謝します ❤️
• Hugging Faceチームの寛大な支援により、彼らのS3ストレージからモデルをダウンロードすることができます 🤗

引用

@article{kesgin2024introducing,
  title={Introducing cosmosGPT: Monolingual Training for Turkish Language Models},
  author={Kesgin, H Toprak and Yuce, M Kaan and Dogan, Eren and Uzun, M Egemen and Uz, Atahan and Seyrek, H Emre and Zeer, Ahmed and Amasyali, M Fatih},
  journal={arXiv preprint arXiv:2404.17336},
  year={2024}
}

連絡先

COSMOS AI Research Group, Yildiz Technical University Computer Engineering Department
https://cosmos.yildiz.edu.tr/
cosmos@yildiz.edu.tr