Turkish Gpt2 Medium 350m Instruct V0.1

🚀 土耳其語GPT2中等規模3.5億參數指令微調模型v0.1

本模型基於ytu-ce-cosmos/turkish-gpt2-medium，是一個經過3.5萬條指令數據集微調的土耳其語大語言模型（LLM）。由於訓練數據來源廣泛，涵蓋網站、書籍等多種文本，模型可能存在偏差並生成錯誤答案。用戶需留意這些偏差並謹慎使用該模型。

🚀 快速開始

import torch
from transformers import AutoTokenizer, GPT2LMHeadModel
from transformers import pipeline

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
device_id = 0 if torch.cuda.is_available() else -1

model = GPT2LMHeadModel.from_pretrained("ytu-ce-cosmos/turkish-gpt2-medium-350m-instruct-v0.1").to(device)

tokenizer = AutoTokenizer.from_pretrained("ytu-ce-cosmos/turkish-gpt2-medium-350m-instruct-v0.1")

text_generator = pipeline('text-generation', model=model, tokenizer=tokenizer, device=device_id, max_new_tokens=256)

def get_model_response(instruction):
    instruction_prompt = f"### Kullanıcı:\n{instruction}\n### Asistan:\n"
    result = text_generator(instruction_prompt)
    generated_response = result[0]['generated_text']
    return generated_response[len(instruction_prompt):]

model_response = get_model_response("Evde egzersiz yapmanın avantajlarını açıkla.")
print(model_response)
"""
Evde egzersiz yapmak, gelişmiş fiziksel ve zihinsel sağlık için harika bir yoldur. Düzenli egzersizin, artan enerji seviyeleri, gelişmiş kas gücü ve esnekliği, gelişmiş uyku kalitesi ve daha iyi genel esenlik dahil olmak üzere birçok faydası vardır. Evde egzersiz yapmak ayrıca stresi azaltmaya, kas gücünü artırmaya ve genel sağlığı iyileştirmeye yardımcı olabilir.
"""

若要使用聊天模板：

chat_generator = pipeline("conversational", model=model, tokenizer=tokenizer, device=device_id, max_new_tokens=256)

messages = [
    {"role": "user", "content": "Evde egzersiz yapmanın avantajlarını açıkla."}
]

chat_outputs = chat_generator(messages)
print(chat_outputs)
"""
Conversation id: 236ffc4a-2a36-4191-92fb-90d6753df1ae
user: Evde egzersiz yapmanın avantajlarını açıkla.
assistant: Evde egzersiz yapmak, gelişmiş fiziksel ve zihinsel sağlık için sayısız avantaj sunar. Düzenli egzersiz, stresi azaltmaya, kas gücünü artırmaya ve genel sağlığı iyileştirmeye yardımcı olabilir. Ayrıca, evde egzersiz yapmak, daha iyi uyku kalitesi, artan enerji seviyeleri ve gelişmiş bilişsel işlevler gibi daha iyi fiziksel ve zihinsel sağlık sonuçları sağlayabilir. Evde egzersiz yapmak ayrıca, gelişmiş esneklik, denge ve koordinasyon, gelişmiş kalp sağlığı ve gelişmiş kemik sağlığı dahil olmak üzere gelişmiş fiziksel ve zihinsel sağlık yararları sağlayabilir.
"""

🔧 技術細節

訓練詳情

• 我們精心使用包含3.5萬條指令的土耳其語數據集對該模型進行微調，以提高其準確性和適應性。
• 通過採用低秩自適應（LoRA）技術，我們成功將該模型的性能提升到了新高度。
• LoRA 配置：
  • 秩（rank） = 256
  • lora_alpha = 512
  • lora_dropout = 0.05
  • 偏置（bias） = "none"
  • 任務類型（task_type） = "CAUSAL_LM"
• 除了監控損失外，我們還成功將Rouge計算集成到系統的評估指標中。
• 我們採用的一項創新技術是使用模型對數據進行清洗。

其他相關信息可在論文中找到。

模型描述

📄 許可證

本項目採用MIT許可證。

🙏 致謝

• 感謝Hugging Face團隊的慷慨支持，使我們能夠從他們的S3存儲中下載模型 🤗
• 本研究得到了谷歌TPU研究雲（TRC）的雲TPU支持。

📖 引用

@article{kesgin2024introducing,
  title={Introducing cosmosGPT: Monolingual Training for Turkish Language Models},
  author={Kesgin, H Toprak and Yuce, M Kaan and Dogan, Eren and Uzun, M Egemen and Uz, Atahan and Seyrek, H Emre and Zeer, Ahmed and Amasyali, M Fatih},
  journal={arXiv preprint arXiv:2404.17336},
  year={2024}
}

🛠️ 框架版本

• PEFT 0.9.0

📞 聯繫信息

COSMOS人工智能研究小組，伊迪茲技術大學計算機工程系
https://cosmos.yildiz.edu.tr/
cosmos@yildiz.edu.tr

示例提示