U

UNA SimpleSmaug 34b V1beta

由fblgit開發
基於Smaug-34B的監督微調模型,專注於提升數學和推理能力,在34B規模模型中表現優異。
下載量 18
發布時間 : 2/5/2024

模型概述

該模型是基於Smaug-34B-v0.1進行監督微調(SFT)的變體,通過簡單數學數據集的訓練提升了數學和推理能力,同時保留了原始模型的性能。在開放LLM排行榜中表現優異,是34B規模模型的領先者。

模型特點

數學能力提升
通過簡單數學數據集的監督微調,顯著提升了數學和推理能力。
34B規模領先
在34B參數規模的模型中表現優異,開放LLM排行榜評分77.41。
注意力層優化
僅在注意力層應用UNA技術,未修改MLP層,保留了原始模型的核心能力。

模型能力

文本生成
數學推理
邏輯推理
問答系統

使用案例

教育
數學問題解答
解答各類數學問題,包括算術、代數等。
GSM8k數據集準確率72.48%
評估測試
標準測試評估
用於AI2推理挑戰賽、MMLU等標準測試評估。
AI2推理挑戰賽74.57分,MMLU 76.68分
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase