Q

Qwen3 235B A22B GGUF

ubergarmによって開発
Qwen3-235B-A22Bは2350億パラメータの大規模言語モデルで、ik_llama.cppブランチの先進的な非線形量子化処理を経ており、高性能計算環境に適しています。
ダウンロード数 889
リリース時間 : 4/30/2025

モデル概要

このモデルは混合量子化された大規模言語モデルで、高性能計算環境向けに設計されており、対話型テキスト生成タスクをサポートします。

モデル特徴

先進的非線形量子化
ik_llama.cppブランチを使用したSotAレベルの非線形量子化により、与えられたメモリ使用量で最高品質を提供します。
混合エキスパートアーキテクチャ
混合エキスパートモデル(MoE)アーキテクチャを採用し、94の繰り返し層/ブロックを含み、計算リソースの割り当てを最適化しています。
高性能推論
ハイエンドハードウェア構成で動作するように設計されており、GPU+CPU混合推論をサポートし、高スループットを実現します。

モデル能力

テキスト生成
対話型インタラクション
長文脈処理(32k文脈をサポート)

使用事例

高性能計算
ゲーム機上の高品質LLM
ハイエンドGPUと大容量RAMを搭載したゲーム機で高品質な言語モデルを実行
テストでは140 tok/secのプリフィル速度と10 tok/secのテキスト生成速度を達成
研究開発
量子化技術研究
先進的なモデル量子化技術と手法の研究に使用
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase