# 高性能推論

ICONN-1の量化バージョンで、さまざまな性能と品質の要件に対応するための複数の量化オプションを提供します。

これはNVIDIA AceReason - Nemotron - 1.1 - 7Bモデルの量子化バージョンで、異なるハードウェアでのモデルの実行効率を最適化し、一定の性能と品質を維持します。

これはllama.cppを使用して量子化されたJedi - 7B - 1080pモデルで、ファイルサイズとモデル品質のバランスを取るために複数の量子化タイプが提供されています。

Legion-V2.1-LLaMa-70B-Elarablated-v0.8-hfはLLaMa-70Bの量子化バージョンで、llama.cppを使用して最適化され、さまざまなハードウェア要件に対応するための複数の量子化オプションを提供します。

DeepSeek-R1-0528は大型言語モデルで、量子化処理を行ってさまざまなハードウェアでの実行効率を最適化しています。

AceReason-Nemotron-7B は Nemotron アーキテクチャに基づく 7B パラメータ規模の大規模言語モデルで、さまざまなハードウェア要件に対応するために複数の量子化バージョンを提供します。

Seed - Coder - 8B - Instructは強力なオープンソースコードモデルで、モデル中心、透明性、高性能などの特徴を持ち、様々なコーディングタスクで優れた性能を発揮します。

これはQwen/Qwen3-235B-A22Bモデルを変換した混合3-6ビット量子化バージョンで、Apple MLXフレームワーク向けの効率的な推論に適しています。

これはNVIDIA OpenCodeReasoning-Nemotron-14BモデルのLlamacpp imatrix量子化バージョンで、コード推論タスクに適しています。

このモデルはkarpathyのllm.cプロジェクトに由来し、bfloat16性能研究のためにHuggingFace形式に変換され、1500億トークンを消費してトレーニングされました。

これはLlama-70Bに基づく蒸留モデルで、mlx-lmを通じてMLX形式に変換され、4ビット量子化処理が行われています。

これはモデルセンターに公開されたTransformersモデルです。具体的な機能と用途は後で補足されます。

Qwen2.5アーキテクチャに基づく14Bパラメータ規模のコード生成・理解モデル、Model Stock手法により複数の専門コーディングモデルを統合

これはQwen2.5-14Bアーキテクチャに基づくマルチモデル融合の結果で、Model Stock融合手法を用いており、22の異なるソースからの14Bパラメータ規模のモデルを統合しています。

Qwen2.5 Bakeneko 32Bをベースとした命令ファインチューニングバリアントで、Chat VectorとORPO最適化により命令追従能力を強化し、日本語MT-Benchで優れた性能を発揮します。

InstellaはAMDが開発した30億パラメータのオープンソース言語モデルシリーズで、AMD Instinct™ MI300X GPUでトレーニングされ、同規模の完全オープンソースモデルを性能で凌駕しています。

Meta Llama 3をベースに構築された日本語最適化大規模言語モデルで、継続的事前学習により日本語能力を強化し、教師付き微調整により指令追従能力を向上させました。

C4AI Command - Rは、350亿パラメータを持つ高性能生成モデルの研究版で、推論、要約、質問応答などのさまざまなユースケースに最適化されています。

Llama 3 70B InstructのGGUF形式のバージョンで、より効率的なローカル実行体験を提供します。

ECE-TW3-JRGL-V5は、mergekitを通じてMoMo-72B-lora-1.8.7-DPOとalpaca-dragon-72b-v1モデルをマージして得られた新しいモデルで、複数のモデルの長所を融合しています。

YOLOv8はUltralyticsが開発した最新世代の物体検出モデルで、以前のYOLOバージョンの成功を基に構築され、新機能と改良が導入され、性能と柔軟性がさらに向上しています。

MistralAIが最新リリースした混合エキスパート（MoE）モデルで、多言語テキスト生成タスクをサポート

易（Yi）シリーズモデルは、01.AIによって最初から訓練された次世代のオープンソース大規模言語モデルで、バイリンガル（中国語と英語）をサポートし、言語理解、一般常識推論、読解などの分野で優れた性能を発揮します。

Yi-34B-Chatは01.AIによって開発されたバイリンガル大規模言語モデルで、AlpacaEvalランキングではGPT-4 Turboに次ぐ優れた性能を示しています。