Falcon H1 7B Instruct

🚀 Falcon-H1模型

Falcon-H1是一系列基于混合Transformer + Mamba架构的语言模型，由tii.ae开发。该模型在多种任务上表现出色，支持多语言，适用于推理等场景。

🚀 快速开始

目前，你可以使用Hugging Face的transformers、vLLM或自定义的llama.cpp库来使用此模型。

✨ 主要特性

• 模型类型：因果解码器
• 架构：混合Transformer + Mamba架构
• 支持语言：英语、多语言
• 许可证：Falcon-LLM License

📦 安装指南

安装transformers

pip install git+https://github.com/huggingface/transformers.git

安装vLLM

参考 vLLM官方文档 从源码构建。

安装llama.cpp

可以安装自定义的llama.cpp库：https://github.com/tiiuae/llama.cpp-Falcon-H1，安装指南与llama.cpp相同。

💻 使用示例

基础用法

使用transformers库

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "tiiuae/Falcon-H1-1B-Base"

model = AutoModelForCausalLM.from_pretrained(
  model_id,
  torch_dtype=torch.bfloat16,
  device_map="auto"
)

# Perform text generation

使用vLLM

# pip install vllm
vllm serve tiiuae/Falcon-H1-1B-Instruct --tensor-parallel-size 2 --data-parallel-size 1

📚 详细文档

模型详情

训练详情

更多关于此模型的训练协议细节，请参考 Falcon-H1技术博客。

评估结果

Falcon-H1系列在各种任务上表现出色，包括推理任务。具体评估结果如下：

更多详细评估信息，请查看 发布博客。

有用链接

• 查看 发布博客。
• 加入 Discord服务器，与研究人员和开发者交流。

📄 许可证

本模型使用 Falcon-LLM License。

📚 引用

如果Falcon-H1系列模型对你的工作有帮助，请引用：

@misc{tiifalconh1,
    title = {Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance},
    url = {https://falcon-lm.github.io/blog/falcon-h1},
    author = {Falcon-LLM Team},
    month = {May},
    year = {2025}
}