Q

Qwen1.5 Moe Tiny Random

由 yujiepan 开发
这是一个基于Qwen1.5-MoE架构的随机初始化小型模型,采用float16精度,适用于文本生成任务。
下载量 30
发布时间 : 3/30/2024

模型简介

该模型是基于Qwen/Qwen1.5-MoE-A2.7B-Chat配置但规模更小的随机初始化版本,主要用于文本生成任务。

模型特点

小型化设计
基于Qwen1.5-MoE架构但规模更小,适合资源有限的环境。
float16精度
采用float16精度,平衡计算效率和模型性能。
滑动窗口支持
配置了滑动窗口(max_window_layers=1)以优化长文本处理。

模型能力

文本生成
对话系统

使用案例

对话系统
简单对话
可用于构建简单的对话机器人
文本生成
短文本生成
生成简短的文本内容
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase