🚀 變壓器庫(transformers)
本庫支持多種語言,提供了基於Falcon-H1的模型,具有高效和高性能的特點,適用於多種自然語言處理任務。
🚀 快速開始
目前,要使用此模型,你可以依賴Hugging Face的transformers
、vLLM
或我們自定義的llama.cpp
庫的分支。
推理
確保安裝最新版本的transformers
或vLLM
,必要時從源代碼安裝這些包:
pip install git+https://github.com/huggingface/transformers.git
有關從源代碼構建vLLM的更多詳細信息,請參考官方vLLM文檔。
🤗 transformers
參考以下代碼片段,使用🤗 transformers運行H1模型:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "tiiuae/Falcon-H1-1B-Base"
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto"
)
vLLM
對於vLLM,只需執行以下命令啟動服務器:
# pip install vllm
vllm serve tiiuae/Falcon-H1-1B-Instruct --tensor-parallel-size 2 --data-parallel-size 1
llama.cpp
在我們努力將架構直接集成到llama.cpp
庫的同時,你可以安裝我們的庫分支並直接使用:https://github.com/tiiuae/llama.cpp-Falcon-H1,使用與llama.cpp
相同的安裝指南。
✨ 主要特性
- 多語言支持:支持阿拉伯語(ar)、捷克語(cs)、德語(de)、英語(en)等多種語言。
- 混合架構:採用混合Transformer + Mamba架構。
- 高性能:在多種任務中表現出色,包括推理任務。
📦 安裝指南
安裝transformers
pip install git+https://github.com/huggingface/transformers.git
安裝vLLM
pip install vllm
安裝llama.cpp
分支
參考https://github.com/tiiuae/llama.cpp-Falcon-H1的安裝指南。
💻 使用示例
基礎用法
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "tiiuae/Falcon-H1-1B-Base"
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto"
)
📚 詳細文檔
模型詳情
訓練詳情
有關此模型訓練協議的更多詳細信息,請參考Falcon-H1技術博客文章。
評估
Falcon-H1系列在多種任務中表現出色,包括推理任務。
任務 |
Falcon-H1-1.5B |
Qwen3-1.7B |
Qwen2.5-1.5B |
Gemma3-1B |
Llama3.2-1B |
Falcon3-1B |
通用 |
|
|
|
|
|
|
BBH |
46.57 |
43.05 |
40.55 |
30.26 |
30.72 |
35.24 |
MMLU |
61.81 |
62.46 |
61.13 |
26.33 |
32.39 |
45.14 |
ARC-C |
53.24 |
55.72 |
54.27 |
39.33 |
39.42 |
47.87 |
HellaSwag |
66.76 |
67.09 |
67.86 |
62.94 |
65.73 |
62.3 |
Winogrande |
65.59 |
66.3 |
64.56 |
62.59 |
62.75 |
61.17 |
數學 |
|
|
|
|
|
|
GSM8k |
52.01 |
70.74 |
63.0 |
2.2 |
7.05 |
34.95 |
MATH lvl5 |
20.39 |
16.39 |
8.84 |
1.21 |
0.98 |
3.4 |
科學 |
|
|
|
|
|
|
GPQA |
29.11 |
29.45 |
28.36 |
24.66 |
23.57 |
27.85 |
MMLU-Pro |
35.53 |
33.81 |
28.72 |
11.31 |
11.8 |
16.11 |
MMLU-stem |
63.37 |
61.53 |
54.93 |
27.59 |
30.19 |
40.06 |
代碼 |
|
|
|
|
|
|
HumanEval |
50.0 |
67.68 |
35.37 |
6.71 |
18.9 |
10.37 |
HumanEval+ |
42.68 |
60.98 |
29.27 |
5.49 |
16.46 |
9.15 |
MBPP |
65.08 |
67.72 |
60.05 |
12.7 |
35.98 |
12.43 |
MBPP+ |
55.03 |
58.99 |
49.47 |
9.52 |
29.89 |
9.52 |
你可以在我們的發佈博客文章中查看更詳細的基準測試。
有用鏈接
🔧 技術細節
該模型採用混合Transformer + Mamba架構,具體的訓練細節可參考Falcon-H1技術博客文章。
📄 許可證
本模型使用Falcon-LLM許可證,詳情請見https://falconllm.tii.ae/falcon-terms-and-conditions.html。
📖 引用
如果Falcon-H1系列模型對你的工作有幫助,請引用:
@misc{tiifalconh1,
title = {Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance},
url = {https://falcon-lm.github.io/blog/falcon-h1},
author = {Falcon-LLM Team},
month = {May},
year = {2025}
}