D

Doge 120M MoE Instruct

由SmallDoge開發
Doge模型採用動態掩碼注意力機制進行序列轉換,並可使用多層感知機或跨域專家混合進行狀態轉換。
下載量 240
發布時間 : 4/3/2025

模型概述

Doge-120M-MoE-Instruct是一個基於動態掩碼注意力機制和專家混合架構的指令微調語言模型,適用於問答和對話任務。

模型特點

動態掩碼注意力機制
訓練時使用自注意力機制,推理時使用狀態空間機制,提高效率
跨域專家混合
能直接繼承多層感知機的權重進行進一步訓練
高效推理
在i7-11代CPU上達到58 tokens/秒的推理速度

模型能力

文本生成
問答系統
對話系統
指令理解

使用案例

對話系統
日常對話
用於構建聊天機器人進行日常對話
在SmolTalk數據集上微調,具有流暢的對話能力
問答系統
知識問答
回答用戶提出的各類問題
在MMLU基準測試上達到28.2%準確率
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase