Falcon H1 34B Base

🚀 Falcon-H1模型

Falcon-H1是一系列基於混合架構的語言模型，結合了Transformer和Mamba架構，在多種語言和任務上展現出出色的性能，為自然語言處理提供了高效且強大的解決方案。

🚀 快速開始

目前，要使用此模型，你可以依賴Hugging Face的transformers、vLLM或我們自定義的llama.cpp庫的分支。

推理

確保安裝最新版本的transformers或vLLM，必要時從源代碼安裝這些包：

pip install git+https://github.com/huggingface/transformers.git

更多關於從源代碼構建vLLM的詳細信息，請參考官方vLLM文檔。

🤗 transformers

參考以下代碼片段，使用🤗 transformers運行H1模型：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "tiiuae/Falcon-H1-1B-Base"

model = AutoModelForCausalLM.from_pretrained(
  model_id,
  torch_dtype=torch.bfloat16,
  device_map="auto"
)

# Perform text generation

vLLM

對於vLLM，只需執行以下命令啟動服務器：

# pip install vllm
vllm serve tiiuae/Falcon-H1-1B-Instruct --tensor-parallel-size 2 --data-parallel-size 1

llama.cpp

雖然我們正在努力將我們的架構直接集成到llama.cpp庫中，但你可以安裝我們的庫分支並直接使用：https://github.com/tiiuae/llama.cpp-Falcon-H1。使用與llama.cpp相同的安裝指南。

✨ 主要特性

• 多語言支持：支持阿拉伯語、捷克語、德語、英語、西班牙語、法語、印地語、意大利語、日語、韓語、荷蘭語、波蘭語、葡萄牙語、羅馬尼亞語、俄語、瑞典語、烏爾都語和中文等多種語言。
• 混合架構：採用混合Transformer + Mamba架構，結合了兩者的優勢。
• 高性能表現：在多種任務上表現出色，包括推理任務。

📦 安裝指南

安裝transformers

pip install git+https://github.com/huggingface/transformers.git

安裝vLLM

pip install vllm

安裝llama.cpp分支

參考https://github.com/tiiuae/llama.cpp-Falcon-H1的安裝指南。

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "tiiuae/Falcon-H1-1B-Base"

model = AutoModelForCausalLM.from_pretrained(
  model_id,
  torch_dtype=torch.bfloat16,
  device_map="auto"
)

# Perform text generation

高級用法

使用vLLM啟動服務器進行推理：

# pip install vllm
vllm serve tiiuae/Falcon-H1-1B-Instruct --tensor-parallel-size 2 --data-parallel-size 1

📚 詳細文檔

模型詳情

• 開發者：https://www.tii.ae
• 模型類型：因果解碼器
• 架構：混合Transformer + Mamba架構
• 支持語言：英語、多語言
• 許可證：Falcon-LLM許可證

訓練詳情

有關此模型訓練協議的更多詳細信息，請參考Falcon-H1技術博客文章。

評估

Falcon-H1系列在各種任務上表現出色，包括推理任務。詳細評估結果如下：

你可以在我們的發佈博客文章中查看更詳細的基準測試。

有用鏈接

• 查看我們的發佈博客文章。
• 如果你有任何問題或想與我們的研究人員和開發人員交流，請加入我們的Discord服務器。

🔧 技術細節

Falcon-H1模型採用了混合Transformer + Mamba架構，這種架構結合了Transformer在序列建模方面的優勢和Mamba在計算效率上的特點。詳細的技術信息請參考Falcon-H1技術博客文章。

📄 許可證

本模型使用Falcon-LLM許可證，具體條款請參考許可證鏈接。

📖 引用

如果Falcon-H1系列模型對你的工作有幫助，請引用以下內容：

@misc{tiifalconh1,
    title = {Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance},
    url = {https://falcon-lm.github.io/blog/falcon-h1},
    author = {Falcon-LLM Team},
    month = {May},
    year = {2025}
}