G

Gemma 7b Zephyr Sft

由wandb開發
基於Google Gemma 7B模型,採用Zephyr SFT配方微調的大語言模型,主要用於文本生成任務
下載量 19
發布時間 : 2/28/2024

模型概述

這是一個85億參數的GPT類模型,在混合公開和合成數據集上進行監督微調(SFT),專注於英語文本生成任務。

模型特點

Zephyr SFT微調
採用Zephyr監督微調配方訓練,提升了模型在對話和指令跟隨方面的表現
高性能基準測試
在開放LLM排行榜多項基準測試中表現優異,如HellaSwag(80.73)和Winogrande(74.19)
計算效率優化
使用8xA100 80GB節點訓練,優化了大規模模型的計算效率

模型能力

文本生成
問答系統
推理任務
對話系統
知識問答

使用案例

教育
AI2推理挑戰賽
解決科學推理問題
標準化準確率61.43
常識推理
HellaSwag評估
日常情境下的常識推理
標準化準確率80.73
Winogrande評估
指代消解和常識推理
準確率74.19
數學能力
GSM8k評估
解決小學數學問題
準確率49.81
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase