Tinyllama 1.1B Intermediate 1.5T PTBR Instruct V3 8k

🚀 TinyLlama-1.1B葡萄牙語微調模型

本項目是對PY007/TinyLlama - 1.1B - intermediate - step - 715k - 1.5T模型的微調版本，使用axolotl在葡萄牙語指令數據集上進行微調。該模型可用於文本生成任務，在基本的RAG（檢索增強生成）和檢索內容的問答方面表現良好。

✨ 主要特性

• 多版本微調：v0、v1和v2版本針對默認的2048上下文長度進行微調，v3版本則是在v2的基礎上，在8k上下文長度的數據集上進行進一步微調。
• 特定場景適用：雖然推理能力不是很強，但在基本的RAG和檢索內容的問答方面表現不錯。

📚 詳細文檔

提示格式

f"Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Response:\n"

📄 許可證

本項目採用MIT許可證。