Turkish Gpt2 Medium 350m Instruct V0.1

🚀 turkish-gpt2-medium-350m-instruct-v0.1

このモデルは、ytu-ce-cosmos/turkish-gpt2-medium をベースに、35,000件の命令を含むデータセットでファインチューニングされたトルコ語言語モデル（LLM）です。トレーニングデータにはウェブサイト、書籍、その他のテキストソースが含まれるため、バイアスが存在し、誤った回答を生成する可能性があります。ユーザーはこれらのバイアスに注意し、責任を持ってモデルを使用する必要があります。

🚀 クイックスタート

import torch
from transformers import AutoTokenizer, GPT2LMHeadModel
from transformers import pipeline

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
device_id = 0 if torch.cuda.is_available() else -1

model = GPT2LMHeadModel.from_pretrained("ytu-ce-cosmos/turkish-gpt2-medium-350m-instruct-v0.1").to(device)

tokenizer = AutoTokenizer.from_pretrained("ytu-ce-cosmos/turkish-gpt2-medium-350m-instruct-v0.1")

text_generator = pipeline('text-generation', model=model, tokenizer=tokenizer, device=device_id, max_new_tokens=256)

def get_model_response(instruction):
    instruction_prompt = f"### Kullanıcı:\n{instruction}\n### Asistan:\n"
    result = text_generator(instruction_prompt)
    generated_response = result[0]['generated_text']
    return generated_response[len(instruction_prompt):]

model_response = get_model_response("Evde egzersiz yapmanın avantajlarını açıkla.")
print(model_response)
"""
Evde egzersiz yapmak, gelişmiş fiziksel ve zihinsel sağlık için harika bir yoldur. Düzenli egzersizin, artan enerji seviyeleri, gelişmiş kas gücü ve esnekliği, gelişmiş uyku kalitesi ve daha iyi genel esenlik dahil olmak üzere birçok faydası vardır. Evde egzersiz yapmak ayrıca stresi azaltmaya, kas gücünü artırmaya ve genel sağlığı iyileştirmeye yardımcı olabilir.
"""

チャットテンプレートを使用するには：

chat_generator = pipeline("conversational", model=model, tokenizer=tokenizer, device=device_id, max_new_tokens=256)

messages = [
    {"role": "user", "content": "Evde egzersiz yapmanın avantajlarını açıkla."}
]

chat_outputs = chat_generator(messages)
print(chat_outputs)
"""
Conversation id: 236ffc4a-2a36-4191-92fb-90d6753df1ae
user: Evde egzersiz yapmanın avantajlarını açıkla.
assistant: Evde egzersiz yapmak, gelişmiş fiziksel ve zihinsel sağlık için sayısız avantaj sunar. Düzenli egzersiz, stresi azaltmaya, kas gücünü artırmaya ve genel sağlığı iyileştirmeye yardımcı olabilir. Ayrıca, evde egzersiz yapmak, daha iyi uyku kalitesi, artan enerji seviyeleri ve gelişmiş bilişsel işlevler gibi daha iyi fiziksel ve zihinsel sağlık sonuçları sağlayabilir. Evde egzersiz yapmak ayrıca, gelişmiş esneklik, denge ve koordinasyon, gelişmiş kalp sağlığı ve gelişmiş kemik sağlığı dahil olmak üzere gelişmiş fiziksel ve zihinsel sağlık yararları sağlayabilir.
"""

🔧 技術詳細

トレーニングの詳細

• このモデルは、35,000件の命令を含むトルコ語データセットを使用して細心の注意を払ってファインチューニングされ、精度と適応性が向上しています。
• LoRA（Low-Rank Adaptation）を採用することで、このモデルを最高のパフォーマンスレベルに引き上げることに成功しました。
• LoRA 設定:
  • rank = 256
  • lora_alpha = 512
  • lora_dropout = 0.05
  • bias="none"
  • task_type="CAUSAL_LM"
• 損失の監視に加えて、Rouge計算をシステムの評価指標に組み込むことに成功しました。
• 採用した革新的な手法の1つは、モデルを使用してデータをクレンジングすることでした。

その他の関連情報は論文で確認できます。

モデルの説明

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

📚 ドキュメント

引用

@article{kesgin2024introducing,
  title={Introducing cosmosGPT: Monolingual Training for Turkish Language Models},
  author={Kesgin, H Toprak and Yuce, M Kaan and Dogan, Eren and Uzun, M Egemen and Uz, Atahan and Seyrek, H Emre and Zeer, Ahmed and Amasyali, M Fatih},
  journal={arXiv preprint arXiv:2404.17336},
  year={2024}
}

フレームワークのバージョン

• PEFT 0.9.0

連絡先

COSMOS AI Research Group, Yildiz Technical University Computer Engineering Department
https://cosmos.yildiz.edu.tr/
cosmos@yildiz.edu.tr