Turkish Gpt2 Medium 350m Instruct V0.1

🚀 土耳其语GPT2中等规模3.5亿参数指令微调模型v0.1

本模型基于ytu-ce-cosmos/turkish-gpt2-medium，是一个经过3.5万条指令数据集微调的土耳其语大语言模型（LLM）。由于训练数据来源广泛，涵盖网站、书籍等多种文本，模型可能存在偏差并生成错误答案。用户需留意这些偏差并谨慎使用该模型。

🚀 快速开始

import torch
from transformers import AutoTokenizer, GPT2LMHeadModel
from transformers import pipeline

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
device_id = 0 if torch.cuda.is_available() else -1

model = GPT2LMHeadModel.from_pretrained("ytu-ce-cosmos/turkish-gpt2-medium-350m-instruct-v0.1").to(device)

tokenizer = AutoTokenizer.from_pretrained("ytu-ce-cosmos/turkish-gpt2-medium-350m-instruct-v0.1")

text_generator = pipeline('text-generation', model=model, tokenizer=tokenizer, device=device_id, max_new_tokens=256)

def get_model_response(instruction):
    instruction_prompt = f"### Kullanıcı:\n{instruction}\n### Asistan:\n"
    result = text_generator(instruction_prompt)
    generated_response = result[0]['generated_text']
    return generated_response[len(instruction_prompt):]

model_response = get_model_response("Evde egzersiz yapmanın avantajlarını açıkla.")
print(model_response)
"""
Evde egzersiz yapmak, gelişmiş fiziksel ve zihinsel sağlık için harika bir yoldur. Düzenli egzersizin, artan enerji seviyeleri, gelişmiş kas gücü ve esnekliği, gelişmiş uyku kalitesi ve daha iyi genel esenlik dahil olmak üzere birçok faydası vardır. Evde egzersiz yapmak ayrıca stresi azaltmaya, kas gücünü artırmaya ve genel sağlığı iyileştirmeye yardımcı olabilir.
"""

若要使用聊天模板：

chat_generator = pipeline("conversational", model=model, tokenizer=tokenizer, device=device_id, max_new_tokens=256)

messages = [
    {"role": "user", "content": "Evde egzersiz yapmanın avantajlarını açıkla."}
]

chat_outputs = chat_generator(messages)
print(chat_outputs)
"""
Conversation id: 236ffc4a-2a36-4191-92fb-90d6753df1ae
user: Evde egzersiz yapmanın avantajlarını açıkla.
assistant: Evde egzersiz yapmak, gelişmiş fiziksel ve zihinsel sağlık için sayısız avantaj sunar. Düzenli egzersiz, stresi azaltmaya, kas gücünü artırmaya ve genel sağlığı iyileştirmeye yardımcı olabilir. Ayrıca, evde egzersiz yapmak, daha iyi uyku kalitesi, artan enerji seviyeleri ve gelişmiş bilişsel işlevler gibi daha iyi fiziksel ve zihinsel sağlık sonuçları sağlayabilir. Evde egzersiz yapmak ayrıca, gelişmiş esneklik, denge ve koordinasyon, gelişmiş kalp sağlığı ve gelişmiş kemik sağlığı dahil olmak üzere gelişmiş fiziksel ve zihinsel sağlık yararları sağlayabilir.
"""

🔧 技术细节

训练详情

• 我们精心使用包含3.5万条指令的土耳其语数据集对该模型进行微调，以提高其准确性和适应性。
• 通过采用低秩自适应（LoRA）技术，我们成功将该模型的性能提升到了新高度。
• LoRA 配置：
  • 秩（rank） = 256
  • lora_alpha = 512
  • lora_dropout = 0.05
  • 偏置（bias） = "none"
  • 任务类型（task_type） = "CAUSAL_LM"
• 除了监控损失外，我们还成功将Rouge计算集成到系统的评估指标中。
• 我们采用的一项创新技术是使用模型对数据进行清洗。

其他相关信息可在论文中找到。

模型描述

📄 许可证

本项目采用MIT许可证。

🙏 致谢

• 感谢Hugging Face团队的慷慨支持，使我们能够从他们的S3存储中下载模型 🤗
• 本研究得到了谷歌TPU研究云（TRC）的云TPU支持。

📖 引用

@article{kesgin2024introducing,
  title={Introducing cosmosGPT: Monolingual Training for Turkish Language Models},
  author={Kesgin, H Toprak and Yuce, M Kaan and Dogan, Eren and Uzun, M Egemen and Uz, Atahan and Seyrek, H Emre and Zeer, Ahmed and Amasyali, M Fatih},
  journal={arXiv preprint arXiv:2404.17336},
  year={2024}
}

🛠️ 框架版本

• PEFT 0.9.0

📞 联系信息

COSMOS人工智能研究小组，伊迪兹技术大学计算机工程系
https://cosmos.yildiz.edu.tr/
cosmos@yildiz.edu.tr

示例提示