%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
JA
Pocketdoc Dans PersonalityEngine V1.3.0 24b GGUF
多言語・多目的の大規模言語モデルで、様々な専門分野や汎用タスクをサポートし、ロールプレイ、ストーリー創作、プログラミングなど多様なシナリオに適しています。
ダウンロード数 2,543
リリース時間 : 5/23/2025
モデル概要
Dans-PersonalityEngineは24Bパラメータの大規模言語モデルで、プログラミング、法律、医学、金融など多様な言語と専門分野をサポートしています。量子化処理を施されており、様々なハードウェアで効率的に動作します。
モデル特徴
多言語サポート
英語、アラビア語、ドイツ語、フランス語、スペイン語、ヒンディー語、ポルトガル語、日本語、韓国語の9言語をサポート。
マルチドメイン対応
汎用用途、ロールプレイ、ストーリー創作、化学、生物学、プログラミング、気候、法律、医学、金融など多様な分野をカバー。
効率的な量子化
BF16から極低ビット量子化まで様々なバージョンを提供し、異なるハードウェア要件に適応し、実行効率を最適化。
広範なデータセット
PocketDocやAquaVシリーズなど複数の高品質データセットに基づき訓練され、多様なアプリケーションシナリオを網羅。
モデル能力
テキスト生成
ロールプレイ
ストーリー創作
プログラミング支援
法律相談
医学QA
金融分析
多言語翻訳
使用事例
クリエイティブライティング
ストーリー創作
一貫性があり創造性豊かなストーリー内容を生成
小説や脚本などに適した高品質なストーリーテキスト
ロールプレイ
様々なキャラクターの会話や行動をシミュレート
生き生きとしたキャラクターインタラクション体験
専門分野
プログラミング支援
コードスニペット生成やプログラミング問題解決
正確なコード例とソリューション
法律相談
法律関連の情報とアドバイスを提供
専門的な法律知識回答
教育
数学問題解答
数学問題を解決し解答ステップを提供
明確な数学問題解答プロセス
科学知識QA
化学、生物学などの科学分野の質問に回答
正確な専門知識回答
quantized_by: bartowski pipeline_tag: text-generation language:
- en
- ar
- de
- fr
- es
- hi
- pt
- ja
- ko tags:
- general-purpose
- roleplay
- storywriting
- chemistry
- biology
- code
- climate
- axolotl
- text-generation-inference
- finetune
- legal
- medical
- finance datasets:
- PocketDoc/Dans-Prosemaxx-RP
- PocketDoc/Dans-Personamaxx-Logs-2
- PocketDoc/Dans-Personamaxx-VN
- PocketDoc/Dans-Kinomaxx-VanillaBackrooms
- PocketDoc/Dans-Prosemaxx-Gutenberg
- PocketDoc/Dans-Prosemaxx-Cowriter-3-XL
- PocketDoc/Dans-Prosemaxx-Adventure
- PocketDoc/Dans-Failuremaxx-Adventure-3
- PocketDoc/Dans-Prosemaxx-InstructWriter-ZeroShot-2
- PocketDoc/Dans-Prosemaxx-InstructWriter-ZeroShot-3
- PocketDoc/Dans-Prosemaxx-InstructWriter-Continue-2
- PocketDoc/Dans-Prosemaxx-Instructwriter-Long
- PocketDoc/Dans-Prosemaxx-RepRemover-1
- PocketDoc/Dans-MemoryCore-CoreCurriculum-Small
- AquaV/US-Army-Survival-Sharegpt
- AquaV/Multi-Environment-Operations-Sharegpt
- AquaV/Resistance-Sharegpt
- AquaV/Interrogation-Sharegpt
- AquaV/Chemical-Biological-Safety-Applications-Sharegpt
- AquaV/Energetic-Materials-Sharegpt
- PocketDoc/Dans-Mathmaxx
- PJMixers/Math-Multiturn-1K-ShareGPT
- PocketDoc/Dans-Taskmaxx
- PocketDoc/Dans-Taskmaxx-DataPrepper
- PocketDoc/Dans-Taskmaxx-ConcurrentQA-Reworked
- PocketDoc/Dans-Taskmaxx-TableGPT
- PocketDoc/Dans-Taskmaxx-SciRIFF
- PocketDoc/Dans-Taskmaxx-Edit
- PocketDoc/Dans-Toolmaxx-Agent
- PocketDoc/Dans-Toolmaxx-ShellCommands
- PocketDoc/Dans-Toolmaxx-Functions-Toolbench
- PocketDoc/Dans-Toolmaxx-Functions-ToolACE
- PocketDoc/Dans-Toolmaxx-Functions-apigen-subset
- PocketDoc/Dans-Assistantmaxx-OpenAssistant2
- PocketDoc/Dans-Assistantmaxx-Opus-Merge-2
- PocketDoc/Dans-Assistantmaxx-sonnetorca-subset
- PocketDoc/Dans-Assistantmaxx-sonnetorca-subset-2
- PocketDoc/Dans-Assistantmaxx-Synthia
- PocketDoc/Dans-Assistantmaxx-ASL
- PocketDoc/Dans-Assistantmaxx-PersonaLLM-Opus
- PocketDoc/Dans-Assistantmaxx-LongAlign
- PocketDoc/Dans-Assistantmaxx-OpenLeecher-Instruct
- PocketDoc/Dans-Assistantmaxx-Tulu3-IF
- PocketDoc/Dans-Systemmaxx
- PocketDoc/Dans-Logicmaxx-SAT-AP
- PJMixers/grimulkan_theory-of-mind-ShareGPT
- PJMixers/grimulkan_physical-reasoning-ShareGPT
- PocketDoc/Dans-Reasoningmaxx-NaturalReasoning
- PocketDoc/Dans-Reasoningmaxx-WebInstruct
- PocketDoc/Dans-Reasoningmaxx-GeneralReasoning
- PocketDoc/Dans-Assistantmaxx-ClosedInstruct base_model: PocketDoc/Dans-PersonalityEngine-V1.3.0-24b thumbnail: https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.3.0-24b/resolve/main/resources/pe.png base_model_relation: quantized license: apache-2.0
PocketDoc/Dans-PersonalityEngine-V1.3.0-24bのLlamacpp imatrix量子化
llama.cppのリリースb5466を使用して量子化しました。
オリジナルモデル: https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.3.0-24b
すべての量子化は、こちらのデータセットを使用してimatrixオプションで作成されました。
LM Studioで実行できます。
llama.cppまたは他のllama.cppベースのプロジェクトで直接実行できます。
プロンプト形式
[gMASK]<sop><|system|>{system_prompt}<|endoftext|><|user|>{prompt}<|endoftext|><|assistant|>
以下のファイルをダウンロード（ブランチ全体ではなく）:
| ファイル名 | 量子化タイプ | ファイルサイズ | 分割 | 説明 |
|---|---|---|---|---|
| Dans-PersonalityEngine-V1.3.0-24b-bf16.gguf | bf16 | 47.15GB | false | 完全なBF16重み。 |
| Dans-PersonalityEngine-V1.3.0-24b-Q8_0.gguf | Q8_0 | 25.05GB | false | 非常に高品質、一般的には不要ですが利用可能な最大の量子化。 |
| Dans-PersonalityEngine-V1.3.0-24b-Q6_K_L.gguf | Q6_K_L | 19.67GB | false | 埋め込みと出力重みにQ8_0を使用。非常に高品質、ほぼ完璧、推奨。 |
| Dans-PersonalityEngine-V1.3.0-24b-Q6_K.gguf | Q6_K | 19.35GB | false | 非常に高品質、ほぼ完璧、推奨。 |
| Dans-PersonalityEngine-V1.3.0-24b-Q5_K_L.gguf | Q5_K_L | 17.18GB | false | 埋め込みと出力重みにQ8_0を使用。高品質、推奨。 |
| Dans-PersonalityEngine-V1.3.0-24b-Q5_K_M.gguf | Q5_K_M | 16.76GB | false | 高品質、推奨。 |
| Dans-PersonalityEngine-V1.3.0-24b-Q5_K_S.gguf | Q5_K_S | 16.30GB | false | 高品質、推奨。 |
| Dans-PersonalityEngine-V1.3.0-24b-Q4_1.gguf | Q4_1 | 14.87GB | false | レガシー形式、Q4_K_Sと同様の性能ですが、Appleシリコンでトークン/ワットが改善されています。 |
| Dans-PersonalityEngine-V1.3.0-24b-Q4_K_L.gguf | Q4_K_L | 14.83GB | false | 埋め込みと出力重みにQ8_0を使用。良好な品質、推奨。 |
| Dans-PersonalityEngine-V1.3.0-24b-Q4_K_M.gguf | Q4_K_M | 14.33GB | false | 良好な品質、ほとんどの使用ケースのデフォルトサイズ、推奨。 |
| Dans-PersonalityEngine-V1.3.0-24b-Q4_K_S.gguf | Q4_K_S | 13.55GB | false | 品質はやや低いがスペース節約、推奨。 |
| Dans-PersonalityEngine-V1.3.0-24b-Q4_0.gguf | Q4_0 | 13.49GB | false | レガシー形式、ARMおよびAVX CPU推論用にオンライン再パッキングを提供。 |
| Dans-PersonalityEngine-V1.3.0-24b-IQ4_NL.gguf | IQ4_NL | 13.47GB | false | IQ4_XSと似ていますが、やや大きい。ARM CPU推論用にオンライン再パッキングを提供。 |
| Dans-PersonalityEngine-V1.3.0-24b-Q3_K_XL.gguf | Q3_K_XL | 12.99GB | false | 埋め込みと出力重みにQ8_0を使用。品質は低いが使用可能、RAMが少ない場合に適しています。 |
| Dans-PersonalityEngine-V1.3.0-24b-IQ4_XS.gguf | IQ4_XS | 12.76GB | false | まあまあの品質、Q4_K_Sより小さく同様の性能、推奨。 |
| Dans-PersonalityEngine-V1.3.0-24b-Q3_K_L.gguf | Q3_K_L | 12.40GB | false | 品質は低いが使用可能、RAMが少ない場合に適しています。 |
| Dans-PersonalityEngine-V1.3.0-24b-Q3_K_M.gguf | Q3_K_M | 11.47GB | false | 低品質。 |
| Dans-PersonalityEngine-V1.3.0-24b-IQ3_M.gguf | IQ3_M | 10.65GB | false | 中低品質、新しい方法でQ3_K_Mに匹敵する性能。 |
| Dans-PersonalityEngine-V1.3.0-24b-Q3_K_S.gguf | Q3_K_S | 10.40GB | false | 低品質、非推奨。 |
| Dans-PersonalityEngine-V1.3.0-24b-IQ3_XS.gguf | IQ3_XS | 9.91GB | false | 低品質、新しい方法でQ3_K_Sよりやや良い性能。 |
| Dans-PersonalityEngine-V1.3.0-24b-Q2_K_L.gguf | Q2_K_L | 9.55GB | false | 埋め込みと出力重みにQ8_0を使用。非常に低品質だが驚くほど使用可能。 |
| Dans-PersonalityEngine-V1.3.0-24b-IQ3_XXS.gguf | IQ3_XXS | 9.28GB | false | 低品質、新しい方法でQ3量子化に匹敵する性能。 |
| Dans-PersonalityEngine-V1.3.0-24b-Q2_K.gguf | Q2_K | 8.89GB | false | 非常に低品質だが驚くほど使用可能。 |
| Dans-PersonalityEngine-V1.3.0-24b-IQ2_M.gguf | IQ2_M | 8.11GB | false | 比較的低品質だが、SOTA技術を使用して驚くほど使用可能。 |
| Dans-PersonalityEngine-V1.3.0-24b-IQ2_S.gguf | IQ2_S | 7.48GB | false | 低品質、SOTA技術を使用して使用可能。 |
| Dans-PersonalityEngine-V1.3.0-24b-IQ2_XS.gguf | IQ2_XS | 7.21GB | false | 低品質、SOTA技術を使用して使用可能。 |
埋め込み/出力重み
これらの量子化の一部（Q3_K_XL、Q4_K_Lなど）は、埋め込みと出力重みを通常のデフォルトではなくQ8_0に量子化した標準的な量子化方法です。
huggingface-cliを使用したダウンロード
クリックしてダウンロード手順を表示
まず、huggingface-cliがインストールされていることを確認してください:
pip install -U "huggingface_hub[cli]"
次に、特定のファイルをターゲットにできます:
huggingface-cli download bartowski/PocketDoc_Dans-PersonalityEngine-V1.3.0-24b-GGUF --include "PocketDoc_Dans-PersonalityEngine-V1.3.0-24b-Q4_K_M.gguf" --local-dir ./
モデルが50GBより大きい場合、複数のファイルに分割されています。それらすべてをローカルフォルダにダウンロードするには、次のコマンドを実行します:
huggingface-cli download bartowski/PocketDoc_Dans-PersonalityEngine-V1.3.0-24b-GGUF --include "PocketDoc_Dans-PersonalityEngine-V1.3.0-24b-Q8_0/*" --local-dir ./
新しいlocal-dir（PocketDoc_Dans-PersonalityEngine-V1.3.0-24b-Q8_0）を指定するか、すべてをその場（./）にダウンロードできます。
ARM/AVX情報
以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらの重みをメモリ内でインターリーブして、ARMおよびAVXマシンでのパフォーマンスを向上させていました。
しかし、現在は重みの「オンライン再パッキング」と呼ばれるものがあります。詳細はこのPRにあります。Q4_0を使用し、ハードウェアが重みの再パッキングの恩恵を受ける場合、自動的にオンザフライで行われます。
llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。
さらに、IQ4_NLを使用すると、このPRのおかげで、ARM用に重みを再パッキングできます（現時点では4_4のみ）。読み込み時間は遅くなるかもしれませんが、全体的な速度向上が得られます。
クリックしてQ4_0_X_X情報を表示（非推奨）
このセクションは、Q4_0とオンライン再パッキングを使用した場合の潜在的な理論的なパフォーマンス向上を示すために保持しています。
クリックしてAVX2システム（EPYC7702）でのベンチマークを表示
| model | size | params | backend | threads | test | t/s | % (vs Q4_0) |
|---|---|---|---|---|---|---|---|
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp512 | 204.03 ± 1.03 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp1024 | 282.92 ± 0.19 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp2048 | 259.49 ± 0.44 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg128 | 39.12 ± 0.27 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg256 | 39.31 ± 0.69 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg512 | 40.52 ± 0.03 | 100% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp512 | 301.02 ± 1.74 | 147% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp1024 | 287.23 ± 0.20 | 101% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp2048 | 262.77 ± 1.81 | 101% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg128 | 18.80 ± 0.99 | 48% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg256 | 24.46 ± 3.04 | 83% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg512 | 36.32 ± 3.59 | 90% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp512 | 271.71 ± 3.53 | 133% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp1024 | 279.86 ± 45.63 | 100% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp2048 | 320.77 ± 5.00 | 124% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg128 | 43.51 ± 0.05 | 111% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg256 | 43.35 ± 0.09 | 110% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg512 | 42.60 ± 0.31 | 105% |
Q4_0_8_8は、プロンプト処理に良い向上をもたらし、テキスト生成にも小さな向上をもたらします。
どのファイルを選ぶべきか？
詳細はこちら
Artefact2によるこちらのチャート付きの素晴らしい説明があります。
まず、実行できるモデルのサイズを把握する必要があります。これを行うには、RAMやVRAMの量を把握する必要があります。
モデルを可能な限り高速に実行したい場合は、GPUのVRAMに全体を収める必要があります。GPUの総VRAMより1-2GB小さい量子化を目指してください。
絶対的な最高品質を求めたい場合は、システムRAMとGPUのVRAMを合計し、同様に合計より1-2GB小さい量子化を選択してください。
次に、「I-quant」または「K-quant」を使用するかどうかを決定する必要があります。
あまり考えたくない場合は、K-quantのいずれかを選択してください。これらは「QX_K_X」形式で、Q5_K_Mなどです。
さらに詳しく知りたい場合は、この非常に便利な機能チャートを確認してください:
基本的に、Q4以下を目指していて、cuBLAS（Nvidia）またはrocBLAS（AMD）を実行している場合は、I-quantを検討してください。これらはIQX_X形式で、IQ3_Mなどです。これらは新しく、サイズに対してより良いパフォーマンスを提供します。
これらのI-quantはCPUでも使用できますが、K-quantの同等品よりも遅くなるため、速度とパフォーマンスのトレードオフを決定する必要があります。
クレジット
imatrixキャリブレーションデータセットの作成に協力してくれたkalomazeとDampfに感謝します。
埋め込み/出力の実験にインスピレーションを与えてくれたZeroWwに感謝します。
私の仕事を支援してくれたLM Studioに感謝します。
私の仕事を支援したいですか？私のko-fiページを訪れてください: https://ko-fi.com/bartowski
Phi 2 GGUF
その他
Phi-2はマイクロソフトが開発した小型ながら強力な言語モデルで、27億のパラメータを持ち、効率的な推論と高品質なテキスト生成に特化しています。
大規模言語モデル 複数言語対応
P
TheBloke
41.5M
205
Roberta Large
MIT
マスク言語モデリングの目標で事前学習された大型英語言語モデルで、改良されたBERTの学習方法を採用しています。
大規模言語モデル 英語
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERTはBERT基礎モデルの蒸留バージョンで、同等の性能を維持しながら、より軽量で高効率です。シーケンス分類、タグ分類などの自然言語処理タスクに適しています。
大規模言語モデル 英語
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instructは多言語大規模言語モデルで、多言語対話ユースケースに最適化されており、一般的な業界ベンチマークで優れた性能を発揮します。
大規模言語モデル 英語
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM - RoBERTaは、100言語の2.5TBのフィルタリングされたCommonCrawlデータを使って事前学習された多言語モデルで、マスク言語モデリングの目標で学習されています。
大規模言語モデル 複数言語対応
X
FacebookAI
9.6M
664
Roberta Base
MIT
Transformerアーキテクチャに基づく英語の事前学習モデルで、マスク言語モデリングの目標を通じて大量のテキストでトレーニングされ、テキスト特徴抽出と下流タスクの微調整をサポートします。
大規模言語モデル 英語
R
FacebookAI
9.3M
488
Opt 125m
その他
OPTはMeta AIが公開したオープンプリトレーニングトランスフォーマー言語モデルスイートで、パラメータ数は1.25億から1750億まであり、GPT-3シリーズの性能に対抗することを目指しつつ、大規模言語モデルのオープンな研究を促進するものです。
大規模言語モデル 英語
O
facebook
6.3M
198
1
transformersライブラリに基づく事前学習モデルで、様々なNLPタスクに適用可能
大規模言語モデル
Transformers
Transformers1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1はMetaが発表した多言語大規模言語モデルシリーズで、8B、70B、405Bのパラメータ規模を持ち、8種類の言語とコード生成をサポートし、多言語対話シーンを最適化しています。
大規模言語モデル Transformers 複数言語対応
Transformers 複数言語対応L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5ベーシック版はGoogleによって開発されたテキスト-to-テキスト変換Transformerモデルで、パラメータ規模は2.2億で、多言語NLPタスクをサポートしています。
大規模言語モデル 複数言語対応
T
google-t5
5.4M
702
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル Transformers 複数言語対応
Transformers 複数言語対応L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。
対話システム Transformers 英語
Transformers 英語C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98