%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
JA
MN 2407 DSK QwQify V0.1 12B
これはPocketDoc/Dans-SakuraKaze-V1.0.0-12bをファインチューニングしたテストモデルで、既存モデルにQwQの思考パターンを与えることを目的としており、ロールプレイ/アドベンチャー/共同執筆シナリオに適しています。
ダウンロード数 734
リリース時間 : 3/15/2025
モデル概要
このモデルはPocketDoc/Dans-SakuraKaze-V1.0.0-12b（ロールプレイ/アドベンチャー/共同執筆モデル）を基に、LoRA技術でQwQの思考パターンを付与したものです。主に会話生成と共同執筆タスクに使用されます。
モデル特徴
QwQ思考パターン
ファインチューニングによりモデルにQwQ特有の思考と表現方法を与え、会話や執筆で特定のスタイルを表現できるようにします
ロールプレイ最適化
特にロールプレイシナリオ向けに最適化されており、キャラクター設定に沿った対話内容を生成できます
共同執筆サポート
共同執筆タスクに適しており、文脈に沿った一貫性のあるテキストを生成できます
ChatMLフォーマットサポート
ChatMLプロンプトフォーマットを使用しており、対話管理と文脈制御が容易です
モデル能力
テキスト生成
ロールプレイ対話
共同執筆
スタイリッシュなテキスト生成
使用事例
エンターテインメント
ロールプレイゲーム
ゲーム内のNPCとして対話する
キャラクター設定に沿った自然な対話を生成
インタラクティブストーリー創作
ユーザーと共同でインタラクティブなストーリーを作成
文脈に沿った一貫性のあるストーリー展開を生成
クリエイティブライティング
共同執筆アシスタント
作家のクリエイティブライティングを支援
創造的な提案とテキストの続きを提供
library_name: transformers license: apache-2.0 base_model: PocketDoc/Dans-SakuraKaze-V1.0.0-12b tags:
- axolotl
- generated_from_trainer datasets:
- PJMixers-Dev/allura-org_gryphe-sonnet-3.5-charcards-names-added-qwq-all-aphrodite-Shuffled
- PJMixers-Dev/anthracite-org_c2_logs_32k_llama3_qwen2_v1.3-qwq-all-aphrodite-Shuffled
- PJMixers-Dev/grimulkan_aicg-logs-augmented-system-qwq-all-aphrodite-Shuffled
- PJMixers-Dev/grimulkan_jannie-log-augmented-system-qwq-all-aphrodite-Shuffled
- PJMixers-Dev/grimulkan_PIPPA-augmented-dedup-system-qwq-all-aphrodite-Shuffled
- PJMixers-Dev/lemonilia_LimaRP-Only-NonSus-Simple-CustomShareGPT-qwq-all-aphrodite-Shuffled
- PJMixers-Dev/MinervaAI_Aesir-Preview-Anon-qwq-all-aphrodite-Shuffled
- PJMixers-Dev/NyxKrage_chub-logs-sharegpt-longest-CustomShareGPT-qwq-all-aphrodite-Shuffled
- PJMixers-Dev/PocketDoc_Dans-Prosemaxx-Cowriter-XL-8192-shrunk-l3-qwq-all-aphrodite-Shuffled
- PJMixers-Dev/PocketDoc_Dans-Personamaxx-Rainy-qwq-all-aphrodite-Shuffled model-index:
- name: MN-2407-DSK-QwQify-v0.1-12B-LoRA-WS results: []
BeaverAI/MN-2407-DSK-QwQify-v0.1-12B
Test model to try to give an existing model QwQ's thoughts. For this first version it is ontop of PocketDoc/Dans-SakuraKaze-V1.0.0-12b (an rp/adventure/co-writing model), which was trained ontop of PocketDoc/Dans-PersonalityEngine-V1.1.0-12b (a jack of all trades instruct model), which was trained ontop of mistralai/Mistral-Nemo-Base-2407.
The prompt formatting and usage should be the same as with QwQ; Use ChatML, and remove the thinking from previous turns. If thoughts arent being generated automatically, add <think>\n to the start of the assistant turn.
It should follow previous model turns formatting. On first turns of the conversation you may need to regen a few times, and maybe edit the model responses for the first few turns to get it to your liking.
You may want to disable inserting {{char}}: prefix for the character, and instead add something like Only speak as "{{char}}" in conversation with "{{user}}". Output your final response with a "{{char}}:" prefix. to the end of you system prompt.
See axolotl config
axolotl version: 0.8.0.dev0
mlflow_tracking_uri: http://127.0.0.1:7860
mlflow_experiment_name: MN-2407-DSK-QwQify-v0.1-12B-LoRA
# Hugging Face saving config
hub_model_id: BeaverAI/MN-2407-DSK-QwQify-v0.1-12B-LoRA-WS
hub_strategy: every_save
# Model checkpointing config
output_dir: ./Outputs/MN-2407-DSK-QwQify-v0.1-12B-LoRA
resume_from_checkpoint:
save_steps: 25
save_safetensors: true
save_total_limit: 3
save_only_model: false
# Model architecture config
base_model: PocketDoc/Dans-SakuraKaze-V1.0.0-12b
model_type: MistralForCausalLM
tokenizer_type: PreTrainedTokenizerFast
# Mixed precision training config
bf16: true
fp16: false
tf32: false
# Model loading config
load_in_8bit: false
load_in_4bit: false
strict: false
# Sequence config
sequence_len: 8192
min_sample_len: 256
sample_packing: true
eval_sample_packing: true
pad_to_sequence_len: true
train_on_inputs: false
group_by_length: false
# LoRA adapter config
adapter: lora
lora_model_dir:
lora_r: 128
lora_alpha: 128
lora_dropout: 0.125
peft_layers_to_transform:
peft_use_dora:
peft_use_rslora:
peft_layer_replication:
lora_target_modules:
- gate_proj
- down_proj
- up_proj
- q_proj
- v_proj
- k_proj
- o_proj
lora_modules_to_save:
# Fix uninitialized tokens (such as <|start_header_id|> on the base L3 models)
fix_untrained_tokens:
# Dataset config
# https://github.com/xzuyn/axolotl/blob/came-plus-formatters/src/axolotl/prompt_strategies/customchatml-regex-last-only.py
datasets:
- path: PJMixers-Dev/allura-org_gryphe-sonnet-3.5-charcards-names-added-qwq-all-aphrodite-Shuffled
split: train
type: customchatml-regex-last-only
- path: PJMixers-Dev/anthracite-org_c2_logs_32k_llama3_qwen2_v1.3-qwq-all-aphrodite-Shuffled
split: train
type: customchatml-regex-last-only
- path: PJMixers-Dev/grimulkan_aicg-logs-augmented-system-qwq-all-aphrodite-Shuffled
split: train
type: customchatml-regex-last-only
- path: PJMixers-Dev/grimulkan_jannie-log-augmented-system-qwq-all-aphrodite-Shuffled
split: train
type: customchatml-regex-last-only
- path: PJMixers-Dev/grimulkan_PIPPA-augmented-dedup-system-qwq-all-aphrodite-Shuffled
split: train
type: customchatml-regex-last-only
- path: PJMixers-Dev/lemonilia_LimaRP-Only-NonSus-Simple-CustomShareGPT-qwq-all-aphrodite-Shuffled
split: train
type: customchatml-regex-last-only
- path: PJMixers-Dev/MinervaAI_Aesir-Preview-Anon-qwq-all-aphrodite-Shuffled
split: train
type: customchatml-regex-last-only
- path: PJMixers-Dev/NyxKrage_chub-logs-sharegpt-longest-CustomShareGPT-qwq-all-aphrodite-Shuffled
split: train
type: customchatml-regex-last-only
- path: PJMixers-Dev/PocketDoc_Dans-Prosemaxx-Cowriter-XL-8192-shrunk-l3-qwq-all-aphrodite-Shuffled
split: train
type: customchatml-regex-last-only
- path: PJMixers-Dev/PocketDoc_Dans-Personamaxx-Rainy-qwq-all-aphrodite-Shuffled
split: train
type: customchatml-regex-last-only
test_datasets:
- path: PJMixers-Dev/allura-org_gryphe-sonnet-3.5-charcards-names-added-qwq-all-aphrodite-Shuffled
split: test
type: customchatml-regex-last-only
- path: PJMixers-Dev/anthracite-org_c2_logs_32k_llama3_qwen2_v1.3-qwq-all-aphrodite-Shuffled
split: test
type: customchatml-regex-last-only
- path: PJMixers-Dev/grimulkan_aicg-logs-augmented-system-qwq-all-aphrodite-Shuffled
split: test
type: customchatml-regex-last-only
- path: PJMixers-Dev/grimulkan_jannie-log-augmented-system-qwq-all-aphrodite-Shuffled
split: test
type: customchatml-regex-last-only
- path: PJMixers-Dev/grimulkan_PIPPA-augmented-dedup-system-qwq-all-aphrodite-Shuffled
split: test
type: customchatml-regex-last-only
- path: PJMixers-Dev/lemonilia_LimaRP-Only-NonSus-Simple-CustomShareGPT-qwq-all-aphrodite-Shuffled
split: test
type: customchatml-regex-last-only
- path: PJMixers-Dev/MinervaAI_Aesir-Preview-Anon-qwq-all-aphrodite-Shuffled
split: test
type: customchatml-regex-last-only
- path: PJMixers-Dev/NyxKrage_chub-logs-sharegpt-longest-CustomShareGPT-qwq-all-aphrodite-Shuffled
split: test
type: customchatml-regex-last-only
- path: PJMixers-Dev/PocketDoc_Dans-Prosemaxx-Cowriter-XL-8192-shrunk-l3-qwq-all-aphrodite-Shuffled
split: test
type: customchatml-regex-last-only
- path: PJMixers-Dev/PocketDoc_Dans-Personamaxx-Rainy-qwq-all-aphrodite-Shuffled
split: test
type: customchatml-regex-last-only
val_set_size: 0
eval_strategy: steps
eval_steps: 25
dataset_prepared_path: ./00-Tokenized-Datasets/MN-2407-DSK-QwQify-v0.1-12B-customchatml-regex-last-only
shuffle_merged_datasets: true
dataset_processes:
# Training hyperparameters
num_epochs: 2
gradient_accumulation_steps: 1
micro_batch_size: 16 # x4 GPUs = 64
eval_batch_size: 16 # x4 GPUs = 64
warmup_steps: 0
optimizer: came_pytorch
optim_args:
optim_target_modules:
lr_scheduler: rex
learning_rate: 2e-5
cosine_min_lr_ratio:
loraplus_lr_ratio:
loraplus_lr_embedding:
weight_decay: 0.1
max_grad_norm: 1
logging_steps: 1
# Model optimization
gradient_checkpointing: unsloth
flash_attention: true
plugins:
- axolotl.integrations.liger.LigerPlugin
- axolotl.integrations.cut_cross_entropy.CutCrossEntropyPlugin
cut_cross_entropy: true
liger_rope: true
liger_rms_norm: true
liger_layer_norm: true
liger_glu_activation: true
liger_cross_entropy: false
liger_fused_linear_cross_entropy: false
lora_mlp_kernel: false
lora_qkv_kernel: false
lora_o_kernel: false
# DeepSpeed
deepspeed: deepspeed_configs/zero3_bf16.json
# Garbage Collection
gc_steps: 1
# Debug config
debug: true
seed: 42
# Token config
special_tokens:
bos_token: "<s>"
eos_token: "<|im_end|>"
pad_token: "<pad>"
tokens:
MN-2407-DSK-QwQify-v0.1-12B-LoRA-WS
This model is a fine-tuned version of PocketDoc/Dans-SakuraKaze-V1.0.0-12b on the PJMixers-Dev/allura-org_gryphe-sonnet-3.5-charcards-names-added-qwq-all-aphrodite-Shuffled, the PJMixers-Dev/anthracite-org_c2_logs_32k_llama3_qwen2_v1.3-qwq-all-aphrodite-Shuffled, the PJMixers-Dev/grimulkan_aicg-logs-augmented-system-qwq-all-aphrodite-Shuffled, the PJMixers-Dev/grimulkan_jannie-log-augmented-system-qwq-all-aphrodite-Shuffled, the PJMixers-Dev/grimulkan_PIPPA-augmented-dedup-system-qwq-all-aphrodite-Shuffled, the PJMixers-Dev/lemonilia_LimaRP-Only-NonSus-Simple-CustomShareGPT-qwq-all-aphrodite-Shuffled, the PJMixers-Dev/MinervaAI_Aesir-Preview-Anon-qwq-all-aphrodite-Shuffled, the PJMixers-Dev/NyxKrage_chub-logs-sharegpt-longest-CustomShareGPT-qwq-all-aphrodite-Shuffled, the PJMixers-Dev/PocketDoc_Dans-Prosemaxx-Cowriter-XL-8192-shrunk-l3-qwq-all-aphrodite-Shuffled and the PJMixers-Dev/PocketDoc_Dans-Personamaxx-Rainy-qwq-all-aphrodite-Shuffled datasets. It achieves the following results on the evaluation set:
- Loss: 1.2770
Model description
More information needed
Intended uses & limitations
More information needed
Training and evaluation data
More information needed
Training procedure
Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 2e-05
- train_batch_size: 16
- eval_batch_size: 16
- seed: 42
- distributed_type: multi-GPU
- num_devices: 4
- total_train_batch_size: 64
- total_eval_batch_size: 64
- optimizer: Use OptimizerNames.ADAMW_HF with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
- lr_scheduler_type: cosine
- num_epochs: 2.0
Training results
| Training Loss | Epoch | Step | Validation Loss |
|---|---|---|---|
| 2.134 | 0.0038 | 1 | 2.0025 |
| 1.6185 | 0.0951 | 25 | 1.5748 |
| 1.5187 | 0.1901 | 50 | 1.4871 |
| 1.4757 | 0.2852 | 75 | 1.4410 |
| 1.4008 | 0.3802 | 100 | 1.4100 |
| 1.4116 | 0.4753 | 125 | 1.3857 |
| 1.357 | 0.5703 | 150 | 1.3630 |
| 1.3435 | 0.6654 | 175 | 1.3478 |
| 1.3332 | 0.7605 | 200 | 1.3353 |
| 1.3042 | 0.8555 | 225 | 1.3308 |
| 1.2993 | 0.9506 | 250 | 1.3228 |
| 1.3105 | 1.0456 | 275 | 1.3154 |
| 1.2782 | 1.1407 | 300 | 1.3094 |
| 1.3063 | 1.2357 | 325 | 1.3070 |
| 1.3003 | 1.3308 | 350 | 1.3005 |
| 1.2937 | 1.4259 | 375 | 1.2952 |
| 1.283 | 1.5209 | 400 | 1.2922 |
| 1.2692 | 1.6160 | 425 | 1.2887 |
| 1.2639 | 1.7110 | 450 | 1.2855 |
| 1.2546 | 1.8061 | 475 | 1.2822 |
| 1.2711 | 1.9011 | 500 | 1.2787 |
| 1.2492 | 1.9962 | 525 | 1.2770 |
Framework versions
- PEFT 0.14.0
- Transformers 4.49.0
- Pytorch 2.6.0+cu124
- Datasets 3.2.0
- Tokenizers 0.21.1
Phi 2 GGUF
その他
Phi-2はマイクロソフトが開発した小型ながら強力な言語モデルで、27億のパラメータを持ち、効率的な推論と高品質なテキスト生成に特化しています。
大規模言語モデル 複数言語対応
P
TheBloke
41.5M
205
Roberta Large
MIT
マスク言語モデリングの目標で事前学習された大型英語言語モデルで、改良されたBERTの学習方法を採用しています。
大規模言語モデル 英語
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERTはBERT基礎モデルの蒸留バージョンで、同等の性能を維持しながら、より軽量で高効率です。シーケンス分類、タグ分類などの自然言語処理タスクに適しています。
大規模言語モデル 英語
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instructは多言語大規模言語モデルで、多言語対話ユースケースに最適化されており、一般的な業界ベンチマークで優れた性能を発揮します。
大規模言語モデル 英語
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM - RoBERTaは、100言語の2.5TBのフィルタリングされたCommonCrawlデータを使って事前学習された多言語モデルで、マスク言語モデリングの目標で学習されています。
大規模言語モデル 複数言語対応
X
FacebookAI
9.6M
664
Roberta Base
MIT
Transformerアーキテクチャに基づく英語の事前学習モデルで、マスク言語モデリングの目標を通じて大量のテキストでトレーニングされ、テキスト特徴抽出と下流タスクの微調整をサポートします。
大規模言語モデル 英語
R
FacebookAI
9.3M
488
Opt 125m
その他
OPTはMeta AIが公開したオープンプリトレーニングトランスフォーマー言語モデルスイートで、パラメータ数は1.25億から1750億まであり、GPT-3シリーズの性能に対抗することを目指しつつ、大規模言語モデルのオープンな研究を促進するものです。
大規模言語モデル 英語
O
facebook
6.3M
198
1
transformersライブラリに基づく事前学習モデルで、様々なNLPタスクに適用可能
大規模言語モデル
Transformers
Transformers1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1はMetaが発表した多言語大規模言語モデルシリーズで、8B、70B、405Bのパラメータ規模を持ち、8種類の言語とコード生成をサポートし、多言語対話シーンを最適化しています。
大規模言語モデル Transformers 複数言語対応
Transformers 複数言語対応L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5ベーシック版はGoogleによって開発されたテキスト-to-テキスト変換Transformerモデルで、パラメータ規模は2.2億で、多言語NLPタスクをサポートしています。
大規模言語モデル 複数言語対応
T
google-t5
5.4M
702
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル Transformers 複数言語対応
Transformers 複数言語対応L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。
対話システム Transformers 英語
Transformers 英語C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98