🚀 Cymist2-v0.1-SFT模型卡片
Cymist2-v0.1-SFT是一款前沿的語言模型,由Cypien AI團隊開發,專為文本生成任務進行了優化。該模型藉助transformers庫構建,並遵循Apache-2.0許可證開源。
🚀 快速開始
新版本發佈
cymist-2-v02-SFT
✨ 主要特性
模型描述
- 開發團隊:Cypien AI團隊
- 模型類型:文本生成語言模型
- 支持語言:土耳其語、英語
- 許可證:Apache-2.0
- 微調基礎模型:mistralai/Mistral-7B-v0.1
直接使用場景
此模型適用於需要理解土耳其語、具備檢索增強生成(RAG)和文本生成能力的通用應用程序。它可以集成到聊天機器人、虛擬助手和其他需要理解並生成類人回覆的人工智能系統中。
不適用場景
該模型不適用於可能因錯誤答案導致危害的關鍵系統,或需要超出通用文本生成範圍的特定領域知識的場景。
📦 安裝指南
文檔未提及具體安裝步驟,可參考transformers庫的官方安裝說明。
💻 使用示例
基礎用法
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "cypienai/cymist2-v01-SFT"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained(model_name)
tokenizer.pad_token_id = tokenizer.eos_token_id
高級用法
使用Flash-Attention 2進一步加速生成:
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.bfloat16,
attn_implementation="flash_attention_2"
)
示例用法
question="Yenilenebilir gıdalar nelerdir ?"
prompt= f"[INST] {question} [/INST]"
with torch.inference_mode():
input_ids = tokenizer(prompt, return_tensors="pt").to(device)
output = model.generate(**input_ids, max_new_tokens=8096)
decoded_output = tokenizer.decode(output[0], skip_special_tokens=False)
print(decoded_output)
📚 詳細文檔
訓練詳情
- 訓練數據:該模型在多種土耳其語和英語數據源上進行訓練,涵蓋廣泛的主題,以確保全面的語言理解。
- 訓練過程:
- 預處理:訓練數據經過標準的自然語言處理預處理步驟,包括分詞、歸一化,可能還進行了數據增強以提高模型的魯棒性。
- 訓練超參數:學習率為2e-4。
環境影響
Cymist2-v0.1-SFT的訓練過程注重減少碳排放。將根據機器學習影響計算器提供詳細的碳排放統計數據,考慮硬件類型、使用時長、雲服務提供商、計算區域和總排放量。碳排放約為0.93千克CO2eq。可使用機器學習影響計算器進行估算,該計算器的相關研究見Lacoste et al. (2019)。
技術規格
將提供更詳細的技術規格,包括模型架構、計算基礎設施、硬件和軟件,以深入瞭解模型的運行環境。
📄 許可證
本模型遵循Apache-2.0許可證。
其他信息
引用說明
在研究中引用此模型時,請參考本模型卡片以獲取有關模型開發和能力的信息。
術語表
可添加術語表部分,定義與模型相關的特定術語和計算方法,確保所有潛在用戶都能清晰理解。
更多信息
如需獲取更多關於該模型的信息或進行諮詢,請聯繫Cypien AI團隊。
模型卡片聯繫方式
info@cypien.ai
CypienAI團隊