M

Minillm 0.2B Base

由 Tongjilibo 开发
MiniLLM是一个轻量级语言模型项目,完整实现预训练→指令微调→奖励建模→强化学习全流程,以经济高效的方式构建具备基础对话能力的聊天模型
下载量 41
发布时间 : 3/16/2024

模型简介

该项目致力于打造一个轻量级语言模型,采用bert4torch训练框架,代码简洁高效,训练所得模型可直接兼容transformers推理生态。当前实验模型仅具备基础对话功能。

模型特点

轻量高效
采用bert4torch训练框架,代码简洁高效,优化训练过程显存占用
兼容性强
训练所得模型可直接兼容transformers推理生态
全流程实现
完整实现预训练→指令微调→奖励建模→强化学习全流程

模型能力

中文文本生成
基础对话
文本续写

使用案例

教育
学习助手
帮助学生解答基础学习问题
能够生成基础学习内容的解释和示例
娱乐
简单聊天
进行日常对话交流
能够进行基本的问候和简单话题交流
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase