Falcon H1 0.5B Instruct

🚀 Falcon-H1

Falcon-H1は、Hybrid Transformers + Mambaアーキテクチャを採用した因果的デコーダー専用の言語モデルです。英語に特化しており、様々なタスクで高い性能を発揮します。

🚀 クイックスタート

このセクションでは、Falcon-H1モデルの使用方法について説明します。

推論

transformersまたはvllmの最新バージョンをインストールしてください。必要に応じて、これらのパッケージをソースからインストールすることもできます。

pip install git+https://github.com/huggingface/transformers.git

ソースからvLLMをビルドする詳細については、公式のvLLMドキュメントを参照してください。

🤗 transformers

以下のスニペットを参照して、🤗 transformersを使用してH1モデルを実行します。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "tiiuae/Falcon-H1-1B-Base"

model = AutoModelForCausalLM.from_pretrained(
  model_id,
  torch_dtype=torch.bfloat16,
  device_map="auto"
)

# Perform text generation

vLLM

vLLMの場合は、以下のコマンドを実行してサーバーを起動します。

# pip install vllm
vllm serve tiiuae/Falcon-H1-1B-Instruct --tensor-parallel-size 2 --data-parallel-size 1

llama.cpp

現在、このアーキテクチャを直接llama.cppライブラリに統合する作業を行っています。それまでは、ライブラリのフォークをインストールして直接使用することができます。https://github.com/tiiuae/llama.cpp-Falcon-H1 llama.cppと同じインストールガイドラインを使用してください。

✨ 主な機能

Falcon-H1は、以下のような特徴を持っています。

• 開発元: https://www.tii.ae
• モデルタイプ: 因果的デコーダー専用
• アーキテクチャ: Hybrid Transformers + Mambaアーキテクチャ
• 言語 (NLP): 英語
• ライセンス: Falcon-LLM License

📦 インストール

このモデルを使用するには、transformers、vLLMまたはllama.cppのフォークをインストールする必要があります。詳細は「クイックスタート」セクションを参照してください。

📚 ドキュメント

モデル詳細

• 開発元: https://www.tii.ae
• モデルタイプ: 因果的デコーダー専用
• アーキテクチャ: Hybrid Transformers + Mambaアーキテクチャ
• 言語 (NLP): 英語
• ライセンス: Falcon-LLM License

学習詳細

このモデルの学習プロトコルの詳細については、Falcon-H1技術ブログ記事を参照してください。

評価

Falcon-H1シリーズは、推論タスクを含む様々なタスクで非常に良好な性能を発揮します。

詳細なベンチマークについては、リリースブログ記事を参照してください。

有用なリンク

• リリースブログ記事を参照してください。
• 質問がある場合や、研究者や開発者と交流したい場合は、Discordサーバーに参加してください。

📄 ライセンス

このモデルはFalcon-LLM Licenseの下で提供されています。詳細については、https://falconllm.tii.ae/falcon-terms-and-conditions.htmlを参照してください。

📖 引用

Falcon-H1ファミリーのモデルがあなたの研究に役立った場合は、以下のように引用してください。

@misc{tiifalconh1,
    title = {Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance},
    url = {https://falcon-lm.github.io/blog/falcon-h1},
    author = {Falcon-LLM Team},
    month = {May},
    year = {2025}
}