Falcon3 MoE 2x7B Insruct

🚀 Falcon3 MoE 2x7B Instruct

Falcon3 MoE 2x7B Instruct是Falcon3 7B-IT与7B-IT的专家混合模型。它具有13.4B参数，采用BF16格式，基于Falcon3（Llama）架构，支持指令学习。

🚀 快速开始

本项目暂未提供快速开始相关内容。

✨ 主要特性

模型概述

Falcon3系列开源基础模型是一组预训练和指令微调的大语言模型，参数范围从1B到10B。本仓库包含的Falcon3-7B-Instruct模型在发布时，在推理、语言理解、指令遵循、代码和数学任务方面取得了最先进的成果。

语言支持

Falcon3-7B-Instruct支持4种语言，包括英语、法语、西班牙语和葡萄牙语。

上下文长度

该模型支持最长达32K的上下文长度。

📄 许可证

本项目使用其他许可证。