Fox 1 1.6B

🚀 Fox-1-1.6B 模型

Fox-1-1.6B 是由 TensorOpera AI 開發的基於解碼器的小型語言模型（SLM），總參數為 16 億。該模型使用 3 階段數據課程在 3 萬億文本和代碼數據上進行訓練，序列長度達 8K。它採用了分組查詢注意力機制（GQA），有 4 個鍵值頭和 16 個注意力頭，以實現更快的推理。

🚀 快速開始

⚠️ 重要提示

此模型是一個基礎預訓練模型，對於大多數用例，需要進一步微調。為了獲得更具交互性的體驗，我們推薦使用 tensoropera/Fox-1-1.6B-Instruct-v0.1，這是 Fox-1 的指令調優版本。

如需瞭解該模型的完整細節，請閱讀 Fox-1 技術報告 和 發佈博客文章。

✨ 主要特性

• 參數規模：總參數 16 億，屬於小型語言模型。
• 訓練數據：使用 3 階段數據課程在 3 萬億文本和代碼數據上進行訓練，序列長度為 8K。
• 注意力機制：採用分組查詢注意力（GQA），4 個鍵值頭和 16 個注意力頭，加快推理速度。

📚 詳細文檔

基準測試

我們在 ARC Challenge（25 次少樣本）、HellaSwag（10 次少樣本）、TruthfulQA（0 次少樣本）、MMLU（5 次少樣本）、Winogrande（5 次少樣本）和 GSM8k（5 次少樣本）上對 Fox-1 進行了評估。我們遵循 Open LLM Leaderboard 的評估設置，並報告了這 6 個基準測試的平均得分。該模型在配備 8 個 H100 GPU 的機器上進行評估。

Open LLM Leaderboard 評估結果

詳細結果可查看 此處

📄 許可證

本模型採用 Apache-2.0 許可證。