🚀 Falcon-H1
Falcon-H1は、Hybrid Transformers + Mambaアーキテクチャを採用した因果的デコーダー専用の言語モデルです。多言語に対応し、様々なタスクで高い性能を発揮します。
🚀 クイックスタート
このセクションでは、Falcon-H1モデルの基本的な使い方を紹介します。
✨ 主な機能
- 多言語対応:英語を含む複数の言語に対応しています。
- 高性能:様々なタスクで高い性能を発揮します。
- 独自アーキテクチャ:Hybrid Transformers + Mambaアーキテクチャを採用しています。
📦 インストール
現在、このモデルを使用するには、Hugging Faceのtransformers
、vLLM
、または独自のllama.cpp
ライブラリのフォークを使用することができます。
transformers
のインストール
最新バージョンのtransformers
をインストールするには、以下のコマンドを実行します。
pip install git+https://github.com/huggingface/transformers.git
vLLM
のインストール
vLLM
をソースからビルドする詳細については、公式vLLMドキュメントを参照してください。
llama.cpp
のインストール
現在、独自のアーキテクチャをllama.cpp
ライブラリに直接統合する作業を行っています。それまでは、独自のフォークをインストールして使用することができます。llama.cpp
と同じインストールガイドラインを使用してください。
💻 使用例
基本的な使用法
transformers
を使用してFalcon-H1モデルを実行するには、以下のコードを使用します。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "tiiuae/Falcon-H1-1B-Base"
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto"
)
高度な使用法
vLLM
を使用するには、以下のコマンドを実行してサーバーを起動します。
# pip install vllm
vllm serve tiiuae/Falcon-H1-1B-Instruct --tensor-parallel-size 2 --data-parallel-size 1
📚 ドキュメント
モデル詳細
- 開発元: https://www.tii.ae
- モデルタイプ: 因果的デコーダー専用
- アーキテクチャ: Hybrid Transformers + Mambaアーキテクチャ
- 言語: 英語、多言語
- ライセンス: Falcon-LLM License
学習詳細
このモデルの学習プロトコルの詳細については、Falcon-H1技術ブログ記事を参照してください。
評価
Falcon-H1シリーズは、様々なタスクで非常に良好な性能を発揮します。以下は、いくつかのタスクでの評価結果です。
タスク |
Falcon-H1-3B |
Qwen3-4B |
Qwen2.5-3B |
Gemma3-4B |
Llama3.2-3B |
Falcon3-3B |
一般 |
|
|
|
|
|
|
BBH |
53.17 |
56.88 |
46.4 |
40.41 |
39.45 |
44.02 |
MMLU |
68.39 |
72.92 |
65.56 |
59.41 |
55.94 |
56.77 |
ARC-C |
61.35 |
64.33 |
56.57 |
58.36 |
51.02 |
55.12 |
HellaSwag |
73.85 |
75.74 |
74.6 |
77.62 |
76.39 |
67.13 |
Winogrande |
68.11 |
72.3 |
71.03 |
72.77 |
72.22 |
65.11 |
数学 |
|
|
|
|
|
|
GSM8k |
68.31 |
81.65 |
74.6 |
37.6 |
27.82 |
64.67 |
MATH lvl5 |
25.83 |
24.47 |
16.09 |
6.95 |
1.74 |
11.56 |
科学 |
|
|
|
|
|
|
GPQA |
32.63 |
34.9 |
28.44 |
29.78 |
28.78 |
29.78 |
MMLU-Pro |
40.58 |
46.18 |
32.12 |
28.34 |
25.08 |
29.03 |
MMLU-stem |
69.55 |
75.58 |
62.23 |
51.7 |
47.67 |
55.34 |
コード |
|
|
|
|
|
|
HumanEval |
59.15 |
74.39 |
42.68 |
33.54 |
29.27 |
36.59 |
HumanEval+ |
53.66 |
68.9 |
35.37 |
28.05 |
26.22 |
31.71 |
MBPP |
71.43 |
74.6 |
59.52 |
60.05 |
48.94 |
51.85 |
MBPP+ |
57.94 |
63.76 |
50.53 |
51.32 |
39.42 |
42.06 |
詳細なベンチマークについては、リリースブログ記事を参照してください。
📄 ライセンス
このモデルは、Falcon-LLM Licenseの下で提供されています。
🔗 有用なリンク
📖 引用
Falcon-H1モデルがあなたの研究に役立った場合は、以下のように引用してください。
@misc{tiifalconh1,
title = {Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance},
url = {https://falcon-lm.github.io/blog/falcon-h1},
author = {Falcon-LLM Team},
month = {May},
year = {2025}
}