Falcon3 MoE 2x7B Insruct

🚀 Falcon3 MoE 2x7B Instruct

Falcon3 MoE 2x7B Instruct是Falcon3 7B-IT與7B-IT的專家混合模型。它具有13.4B參數，採用BF16格式，基於Falcon3（Llama）架構，支持指令學習。

🚀 快速開始

本項目暫未提供快速開始相關內容。

✨ 主要特性

模型概述

Falcon3系列開源基礎模型是一組預訓練和指令微調的大語言模型，參數範圍從1B到10B。本倉庫包含的Falcon3-7B-Instruct模型在發佈時，在推理、語言理解、指令遵循、代碼和數學任務方面取得了最先進的成果。

語言支持

Falcon3-7B-Instruct支持4種語言，包括英語、法語、西班牙語和葡萄牙語。

上下文長度

該模型支持最長達32K的上下文長度。

📄 許可證

本項目使用其他許可證。