Cymist2 V01 SFT

🚀 Cymist2-v0.1-SFT模型卡片

Cymist2-v0.1-SFT是一款前沿的語言模型，由Cypien AI團隊開發，專為文本生成任務進行了優化。該模型藉助transformers庫構建，並遵循Apache-2.0許可證開源。

🚀 快速開始

新版本發佈

cymist-2-v02-SFT

✨ 主要特性

模型描述

• 開發團隊：Cypien AI團隊
• 模型類型：文本生成語言模型
• 支持語言：土耳其語、英語
• 許可證：Apache-2.0
• 微調基礎模型：mistralai/Mistral-7B-v0.1

直接使用場景

此模型適用於需要理解土耳其語、具備檢索增強生成（RAG）和文本生成能力的通用應用程序。它可以集成到聊天機器人、虛擬助手和其他需要理解並生成類人回覆的人工智能系統中。

不適用場景

該模型不適用於可能因錯誤答案導致危害的關鍵系統，或需要超出通用文本生成範圍的特定領域知識的場景。

📦 安裝指南

文檔未提及具體安裝步驟，可參考transformers庫的官方安裝說明。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "cypienai/cymist2-v01-SFT"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained(model_name)
tokenizer.pad_token_id = tokenizer.eos_token_id

高級用法

使用Flash-Attention 2進一步加速生成：

model = AutoModelForCausalLM.from_pretrained(
        model_name,
        torch_dtype=torch.bfloat16,
        attn_implementation="flash_attention_2"
        )

示例用法

question="Yenilenebilir gıdalar nelerdir ?"
prompt= f"[INST] {question} [/INST]"

with torch.inference_mode():
  input_ids = tokenizer(prompt, return_tensors="pt").to(device)
  output = model.generate(**input_ids, max_new_tokens=8096)
  decoded_output = tokenizer.decode(output[0], skip_special_tokens=False)
  print(decoded_output)

📚 詳細文檔

訓練詳情

• 訓練數據：該模型在多種土耳其語和英語數據源上進行訓練，涵蓋廣泛的主題，以確保全面的語言理解。
• 訓練過程：
  • 預處理：訓練數據經過標準的自然語言處理預處理步驟，包括分詞、歸一化，可能還進行了數據增強以提高模型的魯棒性。
  • 訓練超參數：學習率為2e-4。

環境影響

Cymist2-v0.1-SFT的訓練過程注重減少碳排放。將根據機器學習影響計算器提供詳細的碳排放統計數據，考慮硬件類型、使用時長、雲服務提供商、計算區域和總排放量。碳排放約為0.93千克CO2eq。可使用機器學習影響計算器進行估算，該計算器的相關研究見Lacoste et al. (2019)。

技術規格

將提供更詳細的技術規格，包括模型架構、計算基礎設施、硬件和軟件，以深入瞭解模型的運行環境。

📄 許可證

本模型遵循Apache-2.0許可證。

其他信息

引用說明

在研究中引用此模型時，請參考本模型卡片以獲取有關模型開發和能力的信息。

術語表

可添加術語表部分，定義與模型相關的特定術語和計算方法，確保所有潛在用戶都能清晰理解。

更多信息

如需獲取更多關於該模型的信息或進行諮詢，請聯繫Cypien AI團隊。

模型卡片聯繫方式

info@cypien.ai CypienAI團隊