# 低遅延推論

Phi-mini-MoEは、英語のビジネスや研究シーンに適した軽量級のエキスパートミックス（MoE）モデルで、リソースが制限された環境や低遅延シーンで優れた性能を発揮します。

Arch - Routerは15億パラメータの偏好アライメントルーティングフレームワークモデルで、クエリをドメイン - 操作の偏好にマッピングしてモデルのルーティング決定を行うために使用されます。

これはHub上に公開されたtransformersモデルで、具体的な機能と詳細情報は補充待ちです。

これはHugging Face Hubにアップロードされたtransformersモデルで、具体的な情報は後で補足されます。

これは自動生成されたtransformersモデルカードで、具体的なモデル情報が欠けています。

NeuroBERT-Miniはgoogle/bert-base-uncasedから派生した軽量自然言語処理モデルで、エッジおよびIoTデバイスのリアルタイム推論に最適化されています。

speechbrain/lang-id-commonlanguage_ecapa を基にした多言語音声分類モデルで、5つのインド言語を識別可能

DMind-1はQwen3-32Bをベースに構築されたWeb3専門家モデルで、監督付き命令微調整と人間のフィードバック強化学習を通じてWeb3エコシステムに最適化されており、タスクの正確性、コンテンツの安全性、専門家レベルのインタラクション調整において顕著な向上を実現しています。

これはHugging Face Hub上で公開されたtransformersモデルで、具体的な情報は後で補足されます。

これは非常にコンパクトで高速な日本語リランキングモデルで、RAGシステムの精度向上に適しており、CPUやエッジデバイス上でも効率的に動作します。

これは非常にコンパクトで高速な日本語リランキングモデルで、RAGシステムの精度向上に適しています。

Phi-4-reasoningはPhi-4をファインチューニングした先進的な推論モデルで、教師付きファインチューニングと強化学習により、数学、科学、コーディングなどの分野で卓越した推論能力を発揮します。

TreeHopは、マルチホップQAにおけるクエリ埋め込み生成とフィルタリングを効率的に処理する軽量な埋め込みレベルフレームワークで、計算コストを大幅に削減します。

Qwen/Qwen3-30B-A3Bモデルを基にしたFP8動的量子化バージョンで、アンペアアーキテクチャGPUでの推論効率を最適化

Qwen2.5-VL-72B-InstructのFP8量子化バージョンで、視覚-テキスト入力とテキスト出力をサポートし、Neural Magicによって最適化・公開されています。

これはRed HatとNeural Magicによって最適化されたINT8量子化されたMistral-Small-3.1-24B-Instruct-2503モデルで、高速応答と低遅延シナリオに適しています。

OpenVINOで最適化されたGemma 3 4Bパラメータモデル、テキストからテキスト及び視覚テキスト推論をサポート

Distil-WhisperはWhisperモデルの蒸留版で、自動音声認識(ASR)タスク向けに最適化され、より高速な推論を提供します。

これはMistral3アーキテクチャに基づく24Bパラメータの条件付き生成モデルで、FP8動的量子化により最適化されており、多言語テキスト生成と視覚理解タスクに適しています。

Distil-Whisper large-v3.5を変換したCTranslate2フォーマットモデルで、効率的な音声認識に使用

Mistral Small 3.1は240億パラメータのマルチモーダル大規模言語モデルで、視覚理解能力と128kの長いコンテキスト処理能力を備え、さまざまなタスクに適しています。

SANA-Sprintは超効率的なテキストから画像を生成する拡散モデルで、推論ステップを20ステップから1-4ステップに削減しながらトップクラスの性能を維持します。

RWKV-7モデルはフラッシュ線形アテンションフォーマットを採用し、多言語テキスト生成タスクをサポート、パラメータ数は29億に達します。

Distil-WhisperはWhisperモデルの蒸留版で、大規模な擬似ラベル技術により高効率な音声認識を実現

NVIDIA NeMo Canary Flash は、英語、ドイツ語、フランス語、スペイン語の自動音声認識と翻訳タスクをサポートする多言語多機能音声モデルです。

NVIDIA NeMo Canary Flashは多言語マルチタスクモデルファミリーで、複数の音声ベンチマークで最先端の性能を実現しています。4つの言語の自動音声認識と翻訳タスクをサポートします。

INT8量子化を施した24BパラメータのMistral命令微調整モデルで、GPUメモリ要件を大幅に削減し、計算スループットを向上させます。

Phi-4-multimodal-instructは軽量でオープンソースのマルチモーダル基盤モデルで、Phi-3.5と4.0モデルの言語、視覚、音声研究とデータセットを統合しています。テキスト、画像、音声入力をサポートし、テキスト出力を生成し、128Kトークンのコンテキスト長を備えています。

Phi-4-multimodal-instructは、テキスト、画像、音声入力をサポートし、テキスト出力を生成する軽量オープンソースのマルチモーダル基盤モデルで、128Kトークンのコンテキスト長を備えています。

mgoin/pixtral-12bをベースとしたINT8量子化バージョン、視覚-テキストマルチモーダルタスクをサポート、推論効率を最適化

Qwen2.5-VL-7B-Instructの量子化バージョンで、視覚-テキスト入力とテキスト出力をサポートし、INT8重み量子化により推論効率を最適化

Qwen2.5-VL-3B-InstructのFP8量子化バージョンで、視覚-テキスト入力とテキスト出力をサポートし、推論効率を最適化しています。

高速かつ高精度なニューラル機械翻訳モデルで、中国語から英語への翻訳に使用されます

Mistral Small 3 (2501バージョン)は24Bパラメータの命令微調整大規模言語モデルで、70Bパラメータ以下のカテゴリで新たな基準を確立し、卓越した知識密度と多言語サポート能力を備えています。

YOLOv11ベースの軽量なCounter-Strike 2プレイヤー検出モデル、リアルタイムオブジェクト検出シナリオに適応

これはTransformersアーキテクチャに基づく再ランキング(Reranker)モデルで、主に情報検索と検索結果最適化タスクに使用されます。

LBリランカーはクエリとテキストスニペットの関連性を判断するモデルで、95以上の言語をサポートし、検索タスクにおけるランキングとリランキングに適しています。

7つのヨーロッパ言語をサポートする多言語蒸留版Whisperモデルで、コードスイッチング機能を備えています

OMEGA LabsとBittensorが共同開発した任意から任意への変換モデルで、人工汎用知能分野に焦点を当てています。

これは facebook/bart-large-mnli モデルの OpenVINO 最適化バージョンで、ゼロショットテキスト分類タスクに使用されます。