Falcon H1 7B Instruct

🚀 Falcon-H1模型

Falcon-H1是一系列基於混合Transformer + Mamba架構的語言模型，由tii.ae開發。該模型在多種任務上表現出色，支持多語言，適用於推理等場景。

🚀 快速開始

目前，你可以使用Hugging Face的transformers、vLLM或自定義的llama.cpp庫來使用此模型。

✨ 主要特性

• 模型類型：因果解碼器
• 架構：混合Transformer + Mamba架構
• 支持語言：英語、多語言
• 許可證：Falcon-LLM License

📦 安裝指南

安裝transformers

pip install git+https://github.com/huggingface/transformers.git

安裝vLLM

參考 vLLM官方文檔 從源碼構建。

安裝llama.cpp

可以安裝自定義的llama.cpp庫：https://github.com/tiiuae/llama.cpp-Falcon-H1，安裝指南與llama.cpp相同。

💻 使用示例

基礎用法

使用transformers庫

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "tiiuae/Falcon-H1-1B-Base"

model = AutoModelForCausalLM.from_pretrained(
  model_id,
  torch_dtype=torch.bfloat16,
  device_map="auto"
)

# Perform text generation

使用vLLM

# pip install vllm
vllm serve tiiuae/Falcon-H1-1B-Instruct --tensor-parallel-size 2 --data-parallel-size 1

📚 詳細文檔

模型詳情

訓練詳情

更多關於此模型的訓練協議細節，請參考 Falcon-H1技術博客。

評估結果

Falcon-H1系列在各種任務上表現出色，包括推理任務。具體評估結果如下：

更多詳細評估信息，請查看 發佈博客。

有用鏈接

• 查看 發佈博客。
• 加入 Discord服務器，與研究人員和開發者交流。

📄 許可證

本模型使用 Falcon-LLM License。

📚 引用

如果Falcon-H1系列模型對你的工作有幫助，請引用：

@misc{tiifalconh1,
    title = {Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance},
    url = {https://falcon-lm.github.io/blog/falcon-h1},
    author = {Falcon-LLM Team},
    month = {May},
    year = {2025}
}