Chupacabra 7B V2
基于Mistral架构的7B参数大语言模型,采用SLERP融合技术合并多个高性能模型权重
下载量 99
发布时间 : 11/21/2023
模型简介
该模型通过先进的SLERP融合技术整合多个基于Mistral的模型,在文本生成任务中表现优异,支持多种自然语言处理任务
模型特点
SLERP融合技术
采用球面线性插值(SLERP)而非传统权重平均,能更好地保留双亲模型特征
高性能训练
整合了采用DPO、SFT和强化学习等先进训练方法的模型权重
多任务优化
在ARC、HellaSwag、MMLU等多个基准测试中表现优异
模型能力
文本生成
问答系统
推理任务
常识理解
使用案例
教育
学术问答
回答各类学科知识问题
在MMLU测试中准确率达63.6%
研究
推理挑战
解决复杂的推理问题
在AI2推理挑战赛中标准化准确率65.19%
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98