Falcon H1 34B Instruct

🚀 transformers

Falcon-H1を用いた自然言語処理を可能にするライブラリです。高性能な言語モデルを使って、様々なタスクを効率的に実行できます。

🚀 クイックスタート

Falcon-H1モデルを使用するには、transformers、vLLM、またはllama.cppライブラリを利用できます。以下に各ライブラリでの使用方法を示します。

✨ 主な機能

• 様々な自然言語処理タスクに対応しています。
• 高性能なFalcon-H1モデルを活用し、高い精度でタスクを実行できます。
• 複数のライブラリをサポートしており、使いやすいインターフェースを提供します。

📦 インストール

transformersのインストール

最新バージョンのtransformersをインストールするには、以下のコマンドを実行します。

pip install git+https://github.com/huggingface/transformers.git

vLLMのインストール

vLLMをインストールし、サーバーを起動するには、以下のコマンドを実行します。

# pip install vllm
vllm serve tiiuae/Falcon-H1-1B-Instruct --tensor-parallel-size 2 --data-parallel-size 1

llama.cppのインストール

llama.cppのフォーク版をインストールして使用することができます。以下のリポジトリを参照してください。 https://github.com/tiiuae/llama.cpp-Falcon-H1

💻 使用例

基本的な使用法

transformersを使用したテキスト生成

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "tiiuae/Falcon-H1-1B-Base"

model = AutoModelForCausalLM.from_pretrained(
  model_id,
  torch_dtype=torch.bfloat16,
  device_map="auto"
)

# Perform text generation

vLLMを使用したサーバー起動

# pip install vllm
vllm serve tiiuae/Falcon-H1-1B-Instruct --tensor-parallel-size 2 --data-parallel-size 1

📚 ドキュメント

モデル詳細

学習詳細

このモデルの学習プロトコルの詳細については、Falcon-H1 technical blogpostを参照してください。

評価

Falcon-H1シリーズは、様々なタスク、特に推論タスクで非常に良好な性能を発揮します。

詳細なベンチマークについては、our release blogpostを参照してください。

有用なリンク

• our release blogpostを参照してください。
• 質問がある場合や、研究者や開発者と交流したい場合は、our discord serverにご参加ください。

📄 ライセンス

このプロジェクトは、Falcon-LLM Licenseの下でライセンスされています。

📖 引用

Falcon-H1ファミリーのモデルがあなたの研究に役立った場合、以下のように引用してください。

@misc{tiifalconh1,
    title = {Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance},
    url = {https://falcon-lm.github.io/blog/falcon-h1},
    author = {Falcon-LLM Team},
    month = {May},
    year = {2025}
}