# 効率的な推論最適化

AM-Thinking-v1 は GGUF フォーマットに基づくテキスト生成モデルで、様々な自然言語処理タスクに適しています。

Qwen3-235B-A22B の Exllamav3 量子化バージョンで、モデルサイズとパフォーマンスを最適化するための複数の量子化オプションを提供します。

Llama-3.1-Nemotron-Nano-4B-v1.1はLlama 3.1を圧縮最適化した大規模言語モデルで、推論と対話タスクに特化し、128Kのコンテキスト長をサポート、単一RTXグラフィックカードに対応しています。

Falcon-H1はTIIが開発した効率的なハイブリッドアーキテクチャ言語モデルで、TransformersとMambaアーキテクチャの利点を組み合わせ、英語と多言語タスクをサポートします。

Falcon-H1はアラブ首長国連邦の技術革新研究所が開発したハイブリッドアーキテクチャの言語モデルで、TransformersとMambaアーキテクチャの利点を組み合わせ、多言語処理をサポートしています。

これはkyutai/helium-1-2bを変換したGGUF形式のモデルで、複数のヨーロッパ言語をサポートしています。

Qwen3-0.6B-Baseは通義千問シリーズの最新世代の大規模言語モデルで、一連の密集モデルと混合専門家（MoE）モデルを提供します。

マイクロソフトが開発した1.58ビット量子化大規模言語モデル、効率的な推論のために設計され、IQ2_BNとIQ2_BN_R4の2つの量子化バージョンを提供

本モデルはTHUDM/GLM-Z1-9B-0414のGGUF形式変換バージョンで、中英文テキスト生成タスクをサポートします。

OpenThinker2-7Bの量子化バージョン、llama.cppを使用して量子化され、テキスト生成タスクに適しています。

NVIDIA Nemotron-H-8B-Base-8KはNVIDIAが開発した大規模言語モデル（LLM）で、与えられたテキスト断片の補完生成を目的としています。このモデルはハイブリッドアーキテクチャを採用しており、主にMamba-2とMLP層で構成され、わずか4つのアテンション層を組み合わせています。モデルは8Kのコンテキスト長をサポートし、英語、ドイツ語、スペイン語、フランス語、イタリア語、韓国語、ポルトガル語、ロシア語、日本語、中国語など多様な言語をカバーしています。

Meta Llama-3.1-8B-Instructを基に最適化された推論と対話モデル、128Kのコンテキスト長をサポート、効率と性能のバランス

これはGoogle Gemma 3BモデルのGGUF量子化バージョンで、ローカル推論に適しており、テキスト生成タスクをサポートします。

このモデルはGoogleのGemma 3 27B ITモデルを変換したGGUF形式バージョンで、ローカル推論に適しています。

これはBAAI/bge-reranker-v2-m3モデルを変換したGGUF形式のテキストソートモデルで、多言語テキスト埋め込み推論をサポートします。

FormatClassifierモデルは、ウェブページのURLとテキスト内容に基づいて、ネットワークコンテンツを24のカテゴリに分類できます。

gte-base-en-v1.5をファインチューニングしたテーマ分類モデルで、ウェブコンテンツを24のカテゴリに分類可能

PLaMo 2 8BはPreferred Elements社が開発した80億パラメータのハイブリッドアーキテクチャ言語モデルで、英語と日本語のテキスト生成をサポートしています。

PLaMo 2 1BはPreferred Elements社が開発した10億パラメータのモデルで、英語と日本語のデータセットで事前学習され、Mambaとスライディングウィンドウアテンション機構を組み合わせたハイブリッドアーキテクチャを採用しています。

混元-7Bは騰訊が公開したオープンソースの大規模言語モデルで、256Kの長テキスト処理能力とグループ化クエリ注意力メカニズム(GQA)を持ち、中国語7Bの稠密モデルで優れた性能を発揮します。

DeepSeek-R1-Distill-Llama-70Bは、DeepSeekチームがLlamaアーキテクチャに基づいて開発した70Bパラメータの大規模言語モデルで、蒸留技術により最適化され、効率的な推論と微調整をサポートしています。

ModernBERT-largeをSQuAD 2.0データセットでファインチューニングした質問応答モデルで、長文コンテキスト処理をサポート

Menlo/Ichigo-llama3.1-s-instruct-v0.4を基にした静的量子化モデルで、様々な量子化バージョンを提供し、異なるハードウェア要件に対応します。

DeepSeek-V2-Liteは、経済効率に優れたエキスパート混合（MoE）言語モデルで、総パラメータ数16B、活性化パラメータ数2.4B、32kの文脈長をサポートします。

このモデルはmeta-llama/Meta-Llama-3-8B-Instructを基にファインチューニングされ、関数呼び出しとJSONモードに特化しています。

Jambaは最先端のハイブリッドSSM-Transformer大規模言語モデルで、MambaアーキテクチャとTransformerの利点を組み合わせ、256Kのコンテキスト長をサポートし、スループットと性能において同規模のモデルを凌駕します。

Yarn Mistral 7B 128Kは、長文コンテキストに最適化された先進的な言語モデルで、YaRN拡張手法を用いて長文コンテキストデータで追加事前学習を行い、128kトークンのコンテキストウィンドウをサポートします。

DeciLM 6B-指示モデルは、短い形式の指示追従に特化した英語言語モデルで、DeciLM 6BをLoRAファインチューニング技術でトレーニングしたものです

OpenAI Whisper-mediumをファインチューニングしたテルグ語音声認識モデルで、複数の公開テルグ語ASRデータセットでトレーニング済み