Cymist2 V01 SFT

🚀 Cymist2-v0.1-SFT模型卡片

Cymist2-v0.1-SFT是一款前沿的语言模型，由Cypien AI团队开发，专为文本生成任务进行了优化。该模型借助transformers库构建，并遵循Apache-2.0许可证开源。

🚀 快速开始

新版本发布

cymist-2-v02-SFT

✨ 主要特性

模型描述

• 开发团队：Cypien AI团队
• 模型类型：文本生成语言模型
• 支持语言：土耳其语、英语
• 许可证：Apache-2.0
• 微调基础模型：mistralai/Mistral-7B-v0.1

直接使用场景

此模型适用于需要理解土耳其语、具备检索增强生成（RAG）和文本生成能力的通用应用程序。它可以集成到聊天机器人、虚拟助手和其他需要理解并生成类人回复的人工智能系统中。

不适用场景

该模型不适用于可能因错误答案导致危害的关键系统，或需要超出通用文本生成范围的特定领域知识的场景。

📦 安装指南

文档未提及具体安装步骤，可参考transformers库的官方安装说明。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "cypienai/cymist2-v01-SFT"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained(model_name)
tokenizer.pad_token_id = tokenizer.eos_token_id

高级用法

使用Flash-Attention 2进一步加速生成：

model = AutoModelForCausalLM.from_pretrained(
        model_name,
        torch_dtype=torch.bfloat16,
        attn_implementation="flash_attention_2"
        )

示例用法

question="Yenilenebilir gıdalar nelerdir ?"
prompt= f"[INST] {question} [/INST]"

with torch.inference_mode():
  input_ids = tokenizer(prompt, return_tensors="pt").to(device)
  output = model.generate(**input_ids, max_new_tokens=8096)
  decoded_output = tokenizer.decode(output[0], skip_special_tokens=False)
  print(decoded_output)

📚 详细文档

训练详情

• 训练数据：该模型在多种土耳其语和英语数据源上进行训练，涵盖广泛的主题，以确保全面的语言理解。
• 训练过程：
  • 预处理：训练数据经过标准的自然语言处理预处理步骤，包括分词、归一化，可能还进行了数据增强以提高模型的鲁棒性。
  • 训练超参数：学习率为2e-4。

环境影响

Cymist2-v0.1-SFT的训练过程注重减少碳排放。将根据机器学习影响计算器提供详细的碳排放统计数据，考虑硬件类型、使用时长、云服务提供商、计算区域和总排放量。碳排放约为0.93千克CO2eq。可使用机器学习影响计算器进行估算，该计算器的相关研究见Lacoste et al. (2019)。

技术规格

将提供更详细的技术规格，包括模型架构、计算基础设施、硬件和软件，以深入了解模型的运行环境。

📄 许可证

本模型遵循Apache-2.0许可证。

其他信息

引用说明

在研究中引用此模型时，请参考本模型卡片以获取有关模型开发和能力的信息。

术语表

可添加术语表部分，定义与模型相关的特定术语和计算方法，确保所有潜在用户都能清晰理解。

更多信息

如需获取更多关于该模型的信息或进行咨询，请联系Cypien AI团队。

模型卡片联系方式

info@cypien.ai CypienAI团队