%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
JA
Nvidia OpenReasoning Nemotron 32B GGUF
NVIDIA OpenReasoning - Nemotron - 32Bの量子化バージョンで、llama.cppを通じて量子化処理を行い、モデルの保存と計算リソースの要件を削減し、デプロイを容易にします。
ダウンロード数 2,382
リリース時間 : 7/18/2025
モデル概要
これは32Bパラメータの大規模言語モデルで、推論タスクに特化しており、さまざまなハードウェア要件に対応するための複数の量子化バージョンを提供します。
モデル特徴
複数の量子化オプション
Q8_0からIQ2_XSまでの複数の量子化バージョンを提供し、さまざまなハードウェアとパフォーマンス要件に対応します。
効率的な推論
量子化技術を使用してモデルサイズを削減しながら、高い推論パフォーマンスを維持します。
広範なデプロイサポート
LM Studioやllama.cppなどの複数のプラットフォームでの実行をサポートします。
最適化されたプロンプト形式
構造化されたプロンプト形式を採用し、システム命令とユーザー入力の区別を容易にします。
モデル能力
テキスト生成
論理推論
多輪対話
使用事例
スマートアシスタント
対話システム
複雑な命令を理解できるスマート対話システムを構築します。
教育
教育支援
学生の質問に回答し、学習指導を提供するために使用します。
🚀 NVIDIAによるOpenReasoning - Nemotron - 32BのLlamacpp imatrix量子化
このプロジェクトは、NVIDIAのOpenReasoning - Nemotron - 32Bモデルを量子化するためのものです。量子化には、llama.cppのリリース b5934 を使用しています。
🚀 クイックスタート
- 元のモデル: [https://huggingface.co/nvidia/OpenReasoning - Nemotron - 32B](https://huggingface.co/nvidia/OpenReasoning - Nemotron - 32B)
- すべての量子化モデルは、ここ のデータセットを使用して、imatrixオプションで作成されています。
- モデルは LM Studio で実行できます。
- また、llama.cpp または他のllama.cppベースのプロジェクトで直接実行することもできます。
✨ 主な機能
プロンプトフォーマット
<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
ファイルのダウンロード
以下の表から、必要なファイルをダウンロードできます。
| ファイル名 | 量子化タイプ | ファイルサイズ | 分割 | 説明 |
|---|---|---|---|---|
| [OpenReasoning - Nemotron - 32B - bf16.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/tree/main/nvidia_OpenReasoning - Nemotron - 32B - bf16) | bf16 | 65.54GB | true | 完全なBF16重み。 |
| [OpenReasoning - Nemotron - 32B - Q8_0.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - Q8_0.gguf) | Q8_0 | 34.82GB | false | 非常に高品質で、一般的には必要ありませんが、利用可能な最大の量子化。 |
| [OpenReasoning - Nemotron - 32B - Q6_K_L.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - Q6_K_L.gguf) | Q6_K_L | 27.26GB | false | 埋め込みと出力の重みにQ8_0を使用。非常に高品質で、ほぼ完璧で、推奨。 |
| [OpenReasoning - Nemotron - 32B - Q6_K.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - Q6_K.gguf) | Q6_K | 26.89GB | false | 非常に高品質で、ほぼ完璧で、推奨。 |
| [OpenReasoning - Nemotron - 32B - Q5_K_L.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - Q5_K_L.gguf) | Q5_K_L | 23.74GB | false | 埋め込みと出力の重みにQ8_0を使用。高品質で、推奨。 |
| [OpenReasoning - Nemotron - 32B - Q5_K_M.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - Q5_K_M.gguf) | Q5_K_M | 23.26GB | false | 高品質で、推奨。 |
| [OpenReasoning - Nemotron - 32B - Q5_K_S.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - Q5_K_S.gguf) | Q5_K_S | 22.64GB | false | 高品質で、推奨。 |
| [OpenReasoning - Nemotron - 32B - Q4_1.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - Q4_1.gguf) | Q4_1 | 20.64GB | false | レガシーフォーマット、Q4_K_Sと同様のパフォーマンスで、Apple Siliconでのトークン/ワットが改善されています。 |
| [OpenReasoning - Nemotron - 32B - Q4_K_L.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - Q4_K_L.gguf) | Q4_K_L | 20.43GB | false | 埋め込みと出力の重みにQ8_0を使用。良い品質で、推奨。 |
| [OpenReasoning - Nemotron - 32B - Q4_K_M.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - Q4_K_M.gguf) | Q4_K_M | 19.85GB | false | 良い品質で、ほとんどのユースケースでのデフォルトサイズ、推奨。 |
| [OpenReasoning - Nemotron - 32B - Q4_K_S.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - Q4_K_S.gguf) | Q4_K_S | 18.78GB | false | 品質が少し低いが、より多くのスペースを節約でき、推奨。 |
| [OpenReasoning - Nemotron - 32B - Q4_0.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - Q4_0.gguf) | Q4_0 | 18.71GB | false | レガシーフォーマット、ARMおよびAVX CPU推論のためのオンライン再パッキングを提供します。 |
| [OpenReasoning - Nemotron - 32B - IQ4_NL.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - IQ4_NL.gguf) | IQ4_NL | 18.68GB | false | IQ4_XSに似ていますが、少し大きいです。ARM CPU推論のためのオンライン再パッキングを提供します。 |
| [OpenReasoning - Nemotron - 32B - Q3_K_XL.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - Q3_K_XL.gguf) | Q3_K_XL | 17.93GB | false | 埋め込みと出力の重みにQ8_0を使用。品質は低いが使用可能で、低RAM環境に適しています。 |
| [OpenReasoning - Nemotron - 32B - IQ4_XS.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - IQ4_XS.gguf) | IQ4_XS | 17.69GB | false | 適度な品質で、Q4_K_Sより小さく、同様のパフォーマンスを持ち、推奨。 |
| [OpenReasoning - Nemotron - 32B - Q3_K_L.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - Q3_K_L.gguf) | Q3_K_L | 17.25GB | false | 品質は低いが使用可能で、低RAM環境に適しています。 |
| [OpenReasoning - Nemotron - 32B - Q3_K_M.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - Q3_K_M.gguf) | Q3_K_M | 15.94GB | false | 低品質。 |
| [OpenReasoning - Nemotron - 32B - IQ3_M.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - IQ3_M.gguf) | IQ3_M | 14.81GB | false | 中程度の低品質で、Q3_K_Mと同等のパフォーマンスを持つ新しい方法。 |
| [OpenReasoning - Nemotron - 32B - Q3_K_S.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - Q3_K_S.gguf) | Q3_K_S | 14.39GB | false | 低品質で、推奨しません。 |
| [OpenReasoning - Nemotron - 32B - IQ3_XS.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - IQ3_XS.gguf) | IQ3_XS | 13.71GB | false | 品質は低いが、適度なパフォーマンスを持つ新しい方法で、Q3_K_Sより少し良いです。 |
| [OpenReasoning - Nemotron - 32B - Q2_K_L.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - Q2_K_L.gguf) | Q2_K_L | 13.07GB | false | 埋め込みと出力の重みにQ8_0を使用。非常に低品質ですが、意外と使用可能です。 |
| [OpenReasoning - Nemotron - 32B - IQ3_XXS.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - IQ3_XXS.gguf) | IQ3_XXS | 12.84GB | false | 品質は低いが、適度なパフォーマンスを持つ新しい方法で、Q3量子化と同等です。 |
| [OpenReasoning - Nemotron - 32B - Q2_K.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - Q2_K.gguf) | Q2_K | 12.31GB | false | 非常に低品質ですが、意外と使用可能です。 |
| [OpenReasoning - Nemotron - 32B - IQ2_M.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - IQ2_M.gguf) | IQ2_M | 11.26GB | false | 比較的低品質ですが、最先端の技術を使用しているため、意外と使用可能です。 |
| [OpenReasoning - Nemotron - 32B - IQ2_S.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - IQ2_S.gguf) | IQ2_S | 10.39GB | false | 低品質ですが、最先端の技術を使用しているため、使用可能です。 |
| [OpenReasoning - Nemotron - 32B - IQ2_XS.gguf](https://huggingface.co/bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF/blob/main/nvidia_OpenReasoning - Nemotron - 32B - IQ2_XS.gguf) | IQ2_XS | 9.96GB | false | 低品質ですが、最先端の技術を使用しているため、使用可能です。 |
埋め込み/出力の重み
一部の量子化（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法で、埋め込みと出力の重みが通常のデフォルトではなくQ8_0に量子化されています。
📦 インストール
huggingface - cliを使用したダウンロード
ダウンロード手順を表示するにはクリック
まず、huggingface - cliがインストールされていることを確認してください。
pip install -U "huggingface_hub[cli]"
次に、ダウンロードしたい特定のファイルを指定できます。
huggingface-cli download bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF --include "nvidia_OpenReasoning - Nemotron - 32B - Q4_K_M.gguf" --local-dir ./
モデルが50GBを超える場合、複数のファイルに分割されています。すべてのファイルをローカルフォルダにダウンロードするには、次のコマンドを実行します。
huggingface-cli download bartowski/nvidia_OpenReasoning - Nemotron - 32B - GGUF --include "nvidia_OpenReasoning - Nemotron - 32B - Q8_0/*" --local-dir ./
新しいローカルディレクトリ（nvidia_OpenReasoning - Nemotron - 32B - Q8_0）を指定するか、すべてをその場所にダウンロードすることができます（./）。
🔧 技術詳細
ARM/AVX情報
以前は、Q4_0_4_4/4_8/8_8をダウンロードし、ARMおよびAVXマシンでのパフォーマンスを向上させるために、メモリ内で重みをインターリーブして、一度により多くのデータをロードしていました。
しかし、現在は重みの「オンライン再パッキング」と呼ばれる機能があります。詳細は このPR を参照してください。Q4_0を使用し、ハードウェアが重みの再パッキングによって恩恵を受ける場合、それは自動的に実行されます。
llama.cppビルド b4282 以降、Q4_0_X_Xファイルを実行することはできず、代わりにQ4_0を使用する必要があります。
さらに、このPR により、ARM用に重みを再パッキングするIQ4_NLを使用することで、少し品質を向上させることができます。ただし、現在は4_4のみです。ロード時間は遅くなる可能性がありますが、全体的な速度が向上します。
Q4_0_X_X情報を表示するにはクリック（非推奨）
このセクションは、オンライン再パッキングを使用したQ4_0の潜在的な理論上のパフォーマンス向上を示すために残しています。
AVX2システム（EPYC7702）でのベンチマークを表示するにはクリック
| モデル | サイズ | パラメータ | バックエンド | スレッド | テスト | t/s | Q4_0との比較 |
|---|---|---|---|---|---|---|---|
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp512 | 204.03 ± 1.03 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp1024 | 282.92 ± 0.19 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp2048 | 259.49 ± 0.44 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg128 | 39.12 ± 0.27 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg256 | 39.31 ± 0.69 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg512 | 40.52 ± 0.03 | 100% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp512 | 301.02 ± 1.74 | 147% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp1024 | 287.23 ± 0.20 | 101% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp2048 | 262.77 ± 1.81 | 101% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg128 | 18.80 ± 0.99 | 48% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg256 | 24.46 ± 3.04 | 83% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg512 | 36.32 ± 3.59 | 90% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp512 | 271.71 ± 3.53 | 133% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp1024 | 279.86 ± 45.63 | 100% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp2048 | 320.77 ± 5.00 | 124% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg128 | 43.51 ± 0.05 | 111% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg256 | 43.35 ± 0.09 | 110% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg512 | 42.60 ± 0.31 | 105% |
Q4_0_8_8は、プロンプト処理に大きな改善をもたらし、テキスト生成にも小さな改善をもたらします。
どのファイルを選べばいいですか？
詳細はここをクリック
様々なパフォーマンスを示すチャート付きの素晴らしい記事がArtefact2によって ここ で提供されています。
まず、実行できるモデルのサイズを把握する必要があります。これを行うには、持っているRAMおよび/またはVRAMの量を把握する必要があります。
モデルをできるだけ高速に実行したい場合は、モデル全体をGPUのVRAMに収める必要があります。GPUの総VRAMより1 - 2GB小さいファイルサイズの量子化を目指してください。
絶対的な最高品質が必要な場合は、システムRAMとGPUのVRAMを合計し、同様にその合計より1 - 2GB小さいファイルサイズの量子化を選択してください。
次に、「I - 量子化」または「K - 量子化」を使用するかを決定する必要があります。
あまり深く考えたくない場合は、K - 量子化のいずれかを選択してください。これらは「QX_K_X」の形式で、Q5_K_Mのようなものです。
もっと詳細に調べたい場合は、この非常に便利な機能チャートをチェックすることができます。
[llama.cpp機能マトリックス](https://github.com/ggerganov/llama.cpp/wiki/Feature - matrix)
基本的に、Q4以下を目指しており、cuBLAS（Nvidia）またはrocBLAS（AMD）を使用している場合は、I - 量子化を検討する必要があります。これらはIQX_Xの形式で、IQ3_Mのようなものです。これらは新しく、サイズに対してより良いパフォーマンスを提供します。
これらのI - 量子化はCPUでも使用できますが、同等のK - 量子化よりも遅くなります。したがって、速度とパフォーマンスのトレードオフを決定する必要があります。
📄 クレジット
imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。
埋め込み/出力の実験のインスピレーションを与えてくれたZeroWwに感謝します。
私の仕事を支援してくれたLM Studioに感謝します。
私の仕事を支援したい場合は、こちらのko - fiページを訪れてください。 [https://ko - fi.com/bartowski](https://ko - fi.com/bartowski)
Phi 2 GGUF
その他
Phi-2はマイクロソフトが開発した小型ながら強力な言語モデルで、27億のパラメータを持ち、効率的な推論と高品質なテキスト生成に特化しています。
大規模言語モデル 複数言語対応
P
TheBloke
41.5M
205
Roberta Large
MIT
マスク言語モデリングの目標で事前学習された大型英語言語モデルで、改良されたBERTの学習方法を採用しています。
大規模言語モデル 英語
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERTはBERT基礎モデルの蒸留バージョンで、同等の性能を維持しながら、より軽量で高効率です。シーケンス分類、タグ分類などの自然言語処理タスクに適しています。
大規模言語モデル 英語
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instructは多言語大規模言語モデルで、多言語対話ユースケースに最適化されており、一般的な業界ベンチマークで優れた性能を発揮します。
大規模言語モデル 英語
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM - RoBERTaは、100言語の2.5TBのフィルタリングされたCommonCrawlデータを使って事前学習された多言語モデルで、マスク言語モデリングの目標で学習されています。
大規模言語モデル 複数言語対応
X
FacebookAI
9.6M
664
Roberta Base
MIT
Transformerアーキテクチャに基づく英語の事前学習モデルで、マスク言語モデリングの目標を通じて大量のテキストでトレーニングされ、テキスト特徴抽出と下流タスクの微調整をサポートします。
大規模言語モデル 英語
R
FacebookAI
9.3M
488
Opt 125m
その他
OPTはMeta AIが公開したオープンプリトレーニングトランスフォーマー言語モデルスイートで、パラメータ数は1.25億から1750億まであり、GPT-3シリーズの性能に対抗することを目指しつつ、大規模言語モデルのオープンな研究を促進するものです。
大規模言語モデル 英語
O
facebook
6.3M
198
1
transformersライブラリに基づく事前学習モデルで、様々なNLPタスクに適用可能
大規模言語モデル
Transformers
Transformers1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1はMetaが発表した多言語大規模言語モデルシリーズで、8B、70B、405Bのパラメータ規模を持ち、8種類の言語とコード生成をサポートし、多言語対話シーンを最適化しています。
大規模言語モデル Transformers 複数言語対応
Transformers 複数言語対応L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5ベーシック版はGoogleによって開発されたテキスト-to-テキスト変換Transformerモデルで、パラメータ規模は2.2億で、多言語NLPタスクをサポートしています。
大規模言語モデル 複数言語対応
T
google-t5
5.4M
702
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル Transformers 複数言語対応
Transformers 複数言語対応L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。
対話システム Transformers 英語
Transformers 英語C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98