%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
JA
Pocketdoc Dans PersonalityEngine V1.3.0 12b GGUF
llama.cppで量子化された12Bパラメータの多言語大規模言語モデルで、ロールプレイ、ストーリー作成、および複数分野の専門タスクをサポート
ダウンロード数 1,027
リリース時間 : 5/24/2025
モデル概要
このモデルはPocketDocが開発した12Bパラメータの大規模言語モデルで、llama.cppによる量子化最適化が施されており、複数言語と専門分野のタスクをサポートし、特にロールプレイと創造的なテキスト生成に優れています。
モデル特徴
多言語サポート
9言語のテキスト生成と理解をサポート
マルチドメイン適応
化学、生物学、プログラミング、法律、医学、金融など複数の専門分野をカバー
効率的な量子化
Q2からQ8までの複数量子化レベルを提供し、様々なハードウェア環境に対応
ロールプレイ最適化
特にロールプレイシナリオ向けに最適化されたトレーニングを実施
モデル能力
多言語テキスト生成
ロールプレイ対話
ストーリー創作
専門分野Q&A
コード生成
法律文書処理
医療情報分析
使用事例
クリエイティブライティング
ストーリー創作
一貫性のある長編ストーリーや小説の章を生成
プロットの一貫性がある創造的なテキストを生成可能
ロールプレイ
様々なキャラクターの会話と相互作用をシミュレート
キャラクターの性格を一貫して維持した対話体験を提供
プロフェッショナルサポート
法律文書処理
法律文書の起草と分析を支援
法律規範に準拠した専門テキストを生成可能
医療情報検索
医療関連の質問に回答
医学知識に基づいた専門的な回答を提供
quantized_by: bartowski pipeline_tag: text-generation language:
- en
- ar
- de
- fr
- es
- hi
- pt
- ja
- ko tags:
- general-purpose
- roleplay
- storywriting
- chemistry
- biology
- code
- climate
- axolotl
- text-generation-inference
- finetune
- legal
- medical
- finance datasets:
- PocketDoc/Dans-Prosemaxx-RP
- PocketDoc/Dans-Personamaxx-Logs-2
- PocketDoc/Dans-Personamaxx-VN
- PocketDoc/Dans-Kinomaxx-VanillaBackrooms
- PocketDoc/Dans-Prosemaxx-Gutenberg
- PocketDoc/Dans-Prosemaxx-Cowriter-3-XL
- PocketDoc/Dans-Prosemaxx-Adventure
- PocketDoc/Dans-Failuremaxx-Adventure-3
- PocketDoc/Dans-Prosemaxx-InstructWriter-ZeroShot-2
- PocketDoc/Dans-Prosemaxx-InstructWriter-ZeroShot-3
- PocketDoc/Dans-Prosemaxx-InstructWriter-Continue-2
- PocketDoc/Dans-Prosemaxx-Instructwriter-Long
- PocketDoc/Dans-Prosemaxx-RepRemover-1
- PocketDoc/Dans-MemoryCore-CoreCurriculum-Small
- AquaV/US-Army-Survival-Sharegpt
- AquaV/Multi-Environment-Operations-Sharegpt
- AquaV/Resistance-Sharegpt
- AquaV/Interrogation-Sharegpt
- AquaV/Chemical-Biological-Safety-Applications-Sharegpt
- AquaV/Energetic-Materials-Sharegpt
- PocketDoc/Dans-Mathmaxx
- PJMixers/Math-Multiturn-1K-ShareGPT
- PocketDoc/Dans-Taskmaxx
- PocketDoc/Dans-Taskmaxx-DataPrepper
- PocketDoc/Dans-Taskmaxx-ConcurrentQA-Reworked
- PocketDoc/Dans-Taskmaxx-TableGPT
- PocketDoc/Dans-Taskmaxx-SciRIFF
- PocketDoc/Dans-Taskmaxx-Edit
- PocketDoc/Dans-Toolmaxx-Agent
- PocketDoc/Dans-Toolmaxx-ShellCommands
- PocketDoc/Dans-Toolmaxx-Functions-Toolbench
- PocketDoc/Dans-Toolmaxx-Functions-ToolACE
- PocketDoc/Dans-Toolmaxx-Functions-apigen-subset
- PocketDoc/Dans-Assistantmaxx-OpenAssistant2
- PocketDoc/Dans-Assistantmaxx-Opus-Merge-2
- PocketDoc/Dans-Assistantmaxx-sonnetorca-subset
- PocketDoc/Dans-Assistantmaxx-sonnetorca-subset-2
- PocketDoc/Dans-Assistantmaxx-Synthia
- PocketDoc/Dans-Assistantmaxx-ASL
- PocketDoc/Dans-Assistantmaxx-PersonaLLM-Opus
- PocketDoc/Dans-Assistantmaxx-LongAlign
- PocketDoc/Dans-Assistantmaxx-OpenLeecher-Instruct
- PocketDoc/Dans-Assistantmaxx-Tulu3-IF
- PocketDoc/Dans-Systemmaxx
- PocketDoc/Dans-Logicmaxx-SAT-AP
- PJMixers/grimulkan_theory-of-mind-ShareGPT
- PJMixers/grimulkan_physical-reasoning-ShareGPT
- PocketDoc/Dans-Reasoningmaxx-NaturalReasoning
- PocketDoc/Dans-Reasoningmaxx-WebInstruct
- PocketDoc/Dans-Reasoningmaxx-GeneralReasoning
- PocketDoc/Dans-Assistantmaxx-ClosedInstruct base_model: PocketDoc/Dans-PersonalityEngine-V1.3.0-12b thumbnail: https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.3.0-12b/resolve/main/resources/pe.png base_model_relation: quantized license: apache-2.0
PocketDoc/Dans-PersonalityEngine-V1.3.0-12bのLlamacpp imatrix量子化
llama.cppリリースb5466を使用して量子化しました。
オリジナルモデル: https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.3.0-12b
全ての量子化はimatrixオプションを使用し、こちらのデータセットで作成されました。
LM Studioで実行可能
llama.cppまたは他のllama.cppベースのプロジェクトで直接実行可能
プロンプト形式
[gMASK]<sop><|system|>{system_prompt}<|endoftext|><|user|>{prompt}<|endoftext|><|assistant|>
以下のファイルをダウンロード（ブランチ全体ではなく）:
| ファイル名 | 量子化タイプ | ファイルサイズ | 分割 | 説明 |
|---|---|---|---|---|
| Dans-PersonalityEngine-V1.3.0-12b-bf16.gguf | bf16 | 24.50GB | false | 完全なBF16重み |
| Dans-PersonalityEngine-V1.3.0-12b-Q8_0.gguf | Q8_0 | 13.02GB | false | 極めて高品質、一般的には不要だが利用可能な最高量子化 |
| Dans-PersonalityEngine-V1.3.0-12b-Q6_K_L.gguf | Q6_K_L | 10.38GB | false | 埋め込みと出力重みにQ8_0を使用。非常に高品質、ほぼ完璧、推奨 |
| Dans-PersonalityEngine-V1.3.0-12b-Q6_K.gguf | Q6_K | 10.06GB | false | 非常に高品質、ほぼ完璧、推奨 |
| Dans-PersonalityEngine-V1.3.0-12b-Q5_K_L.gguf | Q5_K_L | 9.14GB | false | 埋め込みと出力重みにQ8_0を使用。高品質、推奨 |
| Dans-PersonalityEngine-V1.3.0-12b-Q5_K_M.gguf | Q5_K_M | 8.73GB | false | 高品質、推奨 |
| Dans-PersonalityEngine-V1.3.0-12b-Q5_K_S.gguf | Q5_K_S | 8.52GB | false | 高品質、推奨 |
| Dans-PersonalityEngine-V1.3.0-12b-Q4_K_L.gguf | Q4_K_L | 7.98GB | false | 埋め込みと出力重みにQ8_0を使用。良好な品質、推奨 |
| Dans-PersonalityEngine-V1.3.0-12b-Q4_1.gguf | Q4_1 | 7.80GB | false | レガシー形式、Q4_K_Sと同様の性能だがAppleシリコンでトークン/ワットが改善 |
| Dans-PersonalityEngine-V1.3.0-12b-Q4_K_M.gguf | Q4_K_M | 7.48GB | false | 良好な品質、ほとんどのユースケースのデフォルトサイズ、推奨 |
| Dans-PersonalityEngine-V1.3.0-12b-Q3_K_XL.gguf | Q3_K_XL | 7.15GB | false | 埋め込みと出力重みにQ8_0を使用。低品質だが使用可能、低RAM環境向け |
| Dans-PersonalityEngine-V1.3.0-12b-Q4_K_S.gguf | Q4_K_S | 7.12GB | false | 品質はやや低いがスペース節約、推奨 |
| Dans-PersonalityEngine-V1.3.0-12b-IQ4_NL.gguf | IQ4_NL | 7.10GB | false | IQ4_XSと類似だがやや大きい。ARM CPU推論用にオンライン再パッキング可能 |
| Dans-PersonalityEngine-V1.3.0-12b-Q4_0.gguf | Q4_0 | 7.09GB | false | レガシー形式、ARMおよびAVX CPU推論用にオンライン再パッキング可能 |
| Dans-PersonalityEngine-V1.3.0-12b-IQ4_XS.gguf | IQ4_XS | 6.74GB | false | 適切な品質、Q4_K_Sより小さく同様の性能、推奨 |
| Dans-PersonalityEngine-V1.3.0-12b-Q3_K_L.gguf | Q3_K_L | 6.56GB | false | 低品質だが使用可能、低RAM環境向け |
| Dans-PersonalityEngine-V1.3.0-12b-Q3_K_M.gguf | Q3_K_M | 6.08GB | false | 低品質 |
| Dans-PersonalityEngine-V1.3.0-12b-IQ3_M.gguf | IQ3_M | 5.72GB | false | 中低品質、Q3_K_Mに匹敵する性能の新しい手法 |
| Dans-PersonalityEngine-V1.3.0-12b-Q3_K_S.gguf | Q3_K_S | 5.53GB | false | 低品質、非推奨 |
| Dans-PersonalityEngine-V1.3.0-12b-Q2_K_L.gguf | Q2_K_L | 5.45GB | false | 埋め込みと出力重みにQ8_0を使用。非常に低品質だが驚くほど使用可能 |
| Dans-PersonalityEngine-V1.3.0-12b-IQ3_XS.gguf | IQ3_XS | 5.31GB | false | 低品質、Q3_K_Sよりやや優れた性能の新しい手法 |
| Dans-PersonalityEngine-V1.3.0-12b-IQ3_XXS.gguf | IQ3_XXS | 4.95GB | false | 低品質、Q3量子化に匹敵する性能の新しい手法 |
| Dans-PersonalityEngine-V1.3.0-12b-Q2_K.gguf | Q2_K | 4.79GB | false | 非常に低品質だが驚くほど使用可能 |
| Dans-PersonalityEngine-V1.3.0-12b-IQ2_M.gguf | IQ2_M | 4.44GB | false | 比較的低品質だがSOTA技術で驚くほど使用可能 |
| Dans-PersonalityEngine-V1.3.0-12b-IQ2_S.gguf | IQ2_S | 4.14GB | false | 低品質、SOTA技術で使用可能 |
埋め込み/出力重み
これらの量子化の一部（Q3_K_XL、Q4_K_Lなど）は、埋め込みと出力重みを通常のデフォルト値ではなくQ8_0に量子化した標準的な量子化手法です。
huggingface-cliを使用したダウンロード
クリックしてダウンロード手順を表示
まず、hugginface-cliがインストールされていることを確認してください:
pip install -U "huggingface_hub[cli]"
次に、特定のファイルをターゲットにできます:
huggingface-cli download bartowski/PocketDoc_Dans-PersonalityEngine-V1.3.0-12b-GGUF --include "PocketDoc_Dans-PersonalityEngine-V1.3.0-12b-Q4_K_M.gguf" --local-dir ./
モデルが50GBより大きい場合、複数のファイルに分割されています。それら全てをローカルフォルダにダウンロードするには、以下を実行します:
huggingface-cli download bartowski/PocketDoc_Dans-PersonalityEngine-V1.3.0-12b-GGUF --include "PocketDoc_Dans-PersonalityEngine-V1.3.0-12b-Q8_0/*" --local-dir ./
新しいlocal-dir（PocketDoc_Dans-PersonalityEngine-V1.3.0-12b-Q8_0）を指定するか、全てをその場（./）にダウンロードできます
ARM/AVX情報
以前はQ4_0_4_4/4_8/8_8をダウンロードし、これらはメモリ内で重みをインターリーブしてARMおよびAVXマシンでのパフォーマンスを向上させていました。
しかし現在は、「オンライン再パッキング」と呼ばれる機能があります。詳細はこのPRをご覧ください。Q4_0を使用し、ハードウェアが再パッキングの恩恵を受ける場合、自動的にオンザフライで行われます。
llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行できなくなり、代わりにQ4_0を使用する必要があります。
さらに、より良い品質を得たい場合は、このPRのおかげでIQ4_NLを使用できます。これもARM用に重みを再パッキングしますが、現時点では4_4のみです。読み込み時間は遅くなるかもしれませんが、全体的な速度向上につながります。
クリックしてQ4_0_X_X情報を表示（非推奨）
このセクションは、Q4_0とオンライン再パッキングを使用した場合の理論的な性能向上を示すために保持しています。
クリックしてAVX2システム（EPYC7702）でのベンチマークを表示
| model | size | params | backend | threads | test | t/s | % (vs Q4_0) |
|---|---|---|---|---|---|---|---|
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp512 | 204.03 ± 1.03 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp1024 | 282.92 ± 0.19 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | pp2048 | 259.49 ± 0.44 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg128 | 39.12 ± 0.27 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg256 | 39.31 ± 0.69 | 100% |
| qwen2 3B Q4_0 | 1.70 GiB | 3.09 B | CPU | 64 | tg512 | 40.52 ± 0.03 | 100% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp512 | 301.02 ± 1.74 | 147% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp1024 | 287.23 ± 0.20 | 101% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | pp2048 | 262.77 ± 1.81 | 101% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg128 | 18.80 ± 0.99 | 48% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg256 | 24.46 ± 3.04 | 83% |
| qwen2 3B Q4_K_M | 1.79 GiB | 3.09 B | CPU | 64 | tg512 | 36.32 ± 3.59 | 90% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp512 | 271.71 ± 3.53 | 133% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp1024 | 279.86 ± 45.63 | 100% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | pp2048 | 320.77 ± 5.00 | 124% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg128 | 43.51 ± 0.05 | 111% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg256 | 43.35 ± 0.09 | 110% |
| qwen2 3B Q4_0_8_8 | 1.69 GiB | 3.09 B | CPU | 64 | tg512 | 42.60 ± 0.31 | 105% |
Q4_0_8_8はプロンプト処理に良い向上をもたらし、テキスト生成にも小さな向上があります
どのファイルを選ぶべきか？
詳細はこちら
Artefact2による素晴らしい説明と各種性能を示すチャートがこちらにあります
まず、実行可能なモデルの大きさを把握する必要があります。これには、RAMやVRAMの量を確認する必要があります。
可能な限り高速にモデルを実行したい場合は、GPUのVRAM全体にモデルを収めたいでしょう。GPUの総VRAMより1-2GB小さい量子化を選んでください。
絶対的な最高品質を求めたい場合は、システムRAMとGPUのVRAMを合計し、同様にその合計より1-2GB小さい量子化を選んでください。
次に、「I-quant」または「K-quant」のどちらを使用するかを決める必要があります。
あまり考えたくない場合は、K-quantのいずれかを選んでください。これらは「QX_K_X」形式で、例えばQ5_K_Mのようになります。
さらに詳しく知りたい場合は、この非常に便利な機能チャートを確認できます:
基本的に、Q4以下を目指していて、cuBLAS（Nvidia）またはrocBLAS（AMD）を使用している場合は、I-quantを検討してください。これらは「IQX_X」形式で、例えばIQ3_Mのようになります。これらは新しく、サイズに対してより良い性能を提供します。
これらのI-quantはCPUでも使用できますが、K-quant相当よりも遅くなるため、速度と性能のトレードオフを決める必要があります。
クレジット
imatrixキャリブレーションデータセット作成の支援をしてくれたkalomazeとDampfに感謝します。
埋め込み/出力の実験へのインスピレーションをくれたZeroWwに感謝します。
私の作業をスポンサーしてくれたLM Studioに感謝します。
私の作業をサポートしたいですか？私のko-fiページをご覧ください: https://ko-fi.com/bartowski
Phi 2 GGUF
その他
Phi-2はマイクロソフトが開発した小型ながら強力な言語モデルで、27億のパラメータを持ち、効率的な推論と高品質なテキスト生成に特化しています。
大規模言語モデル 複数言語対応
P
TheBloke
41.5M
205
Roberta Large
MIT
マスク言語モデリングの目標で事前学習された大型英語言語モデルで、改良されたBERTの学習方法を採用しています。
大規模言語モデル 英語
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERTはBERT基礎モデルの蒸留バージョンで、同等の性能を維持しながら、より軽量で高効率です。シーケンス分類、タグ分類などの自然言語処理タスクに適しています。
大規模言語モデル 英語
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instructは多言語大規模言語モデルで、多言語対話ユースケースに最適化されており、一般的な業界ベンチマークで優れた性能を発揮します。
大規模言語モデル 英語
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM - RoBERTaは、100言語の2.5TBのフィルタリングされたCommonCrawlデータを使って事前学習された多言語モデルで、マスク言語モデリングの目標で学習されています。
大規模言語モデル 複数言語対応
X
FacebookAI
9.6M
664
Roberta Base
MIT
Transformerアーキテクチャに基づく英語の事前学習モデルで、マスク言語モデリングの目標を通じて大量のテキストでトレーニングされ、テキスト特徴抽出と下流タスクの微調整をサポートします。
大規模言語モデル 英語
R
FacebookAI
9.3M
488
Opt 125m
その他
OPTはMeta AIが公開したオープンプリトレーニングトランスフォーマー言語モデルスイートで、パラメータ数は1.25億から1750億まであり、GPT-3シリーズの性能に対抗することを目指しつつ、大規模言語モデルのオープンな研究を促進するものです。
大規模言語モデル 英語
O
facebook
6.3M
198
1
transformersライブラリに基づく事前学習モデルで、様々なNLPタスクに適用可能
大規模言語モデル
Transformers
Transformers1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1はMetaが発表した多言語大規模言語モデルシリーズで、8B、70B、405Bのパラメータ規模を持ち、8種類の言語とコード生成をサポートし、多言語対話シーンを最適化しています。
大規模言語モデル Transformers 複数言語対応
Transformers 複数言語対応L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5ベーシック版はGoogleによって開発されたテキスト-to-テキスト変換Transformerモデルで、パラメータ規模は2.2億で、多言語NLPタスクをサポートしています。
大規模言語モデル 複数言語対応
T
google-t5
5.4M
702
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル Transformers 複数言語対応
Transformers 複数言語対応L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。
対話システム Transformers 英語
Transformers 英語C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98