Tinymistral 248M GGUF

🚀 Locutusque/TinyMistral-248M-GGUF

本項目提供了來自 Locutusque 的 TinyMistral-248M 模型的量化 GGUF 格式文件。該模型基於 Mistral 7B 模型進行縮減，適用於下游任務的微調。

📦 模型信息

📋 量化模型文件列表

📚 原始模型卡片

這是一個基於 Mistral 7B 模型的預訓練語言模型，參數規模縮減至約 2.48 億。該模型在 748.8 萬個示例上進行了訓練，不建議直接使用，而是用於下游任務的微調。

該模型的上下文長度約為 32768 個標記。由於保存模型權重時出現問題，已移除安全序列化。

在 InstructMix 上進行評估時，該模型的平均困惑度得分為 6.3。計劃在不同數據集上對該模型進行更多輪次的訓練。

開放大語言模型排行榜評估結果（過時）

詳細結果可查看 此處

該模型的目的是證明預訓練語言模型不需要萬億級別的數據集。由於只需要小數據集，該模型在單塊 GPU（Titan V）上進行了預訓練。

📄 許可證

本項目採用 apache - 2.0 許可證。