base_model:

• Delta-Vector/Francois-PE library_name: transformers tags:
• ファインチューニング
• 散文
• KTO
• アホロートル
• ロールプレイ
• クリエイティブライティング datasets:
• PocketDoc/Dans-Personamaxx-VN
• NewEden/LIMARP-Complexity
• NewEden/PIPPA-Mega-Filtered
• NewEden/OpenCAI-ShareGPT
• NewEden/Creative_Writing-Complexity
• NewEden/Light-Novels-Roleplay-Logs-Books-Oh-My-duplicate-turns-removed
• PocketDoc/Dans-Failuremaxx-Adventure-3
• NewEden/Books-V2-ShareGPT
• NewEden/Deepseek-V3-RP-Filtered
• NewEden/BlueSky-10K-Complexity
• NewEden/Final-Alpindale-LNs-ShareGPT
• NewEden/DeepseekRP-Filtered
• NewEden/RP-logs-V2-Experimental
• anthracite-org/kalo_opus_misc_240827
• anthracite-org/kalo_misc_part2
• NewEden/vanilla-backrooms-claude-sharegpt
• NewEden/Storium-Prefixed-Clean
• NewEden/KTO-IF-Dans
• NewEden/KTO-Instruct-Mix
• NewEden/Opus-accepted-hermes-rejected-shuffled

François-PE-Huali 12B

作成者 Delta-Vector →

モデル情報

François-Huali 12B V2

KTO強化 Dans-Personality-Engine ファインチューン 創造的で新鮮な散文

続編登場！私のFrancois-PE/Hualiトレインの続編で、Dans-PE-12Bをベースに構築されています。ライトノベル、書籍、ロールプレイログでファインチューニングされ、文章スタイルを簡潔で魅力的なものに変更しました。HualiはKTOを使用して一貫性と散文を向上させています。このモデルは、他のNeMoトレインとは異なる文章スタイル/散文を持つことを目指しています。

量子化バージョン

ダウンロード可能な形式

• GGUF形式LLama.cpp & フォークで使用する場合(近日公開!)
• EXL2形式TabbyAPIで使用する場合 (Auriに感謝 <3)

プロンプティング

モデルはChatML形式で調整されています。典型的な入力は以下のようになります:

"""<|im_start|>user
こんにちは！<|im_end|>
<|im_start|>assistant
はじめまして！<|im_end|>
<|im_start|>user
質問してもいいですか？<|im_end|>
<|im_start|>assistant
"""

システムプロンプト

このモデルでは、EuryaleのシステムプロンプトまたはEVAシステムプロンプトの使用を強く推奨します。

Sao10kのEuryaleシステムプロンプトを表示

現在、あなたの役割は{{char}}で、以下に詳細が記述されています。{{char}}として、{{user}}との物語のやり取りを続けてください。
<ガイドライン>
• キャラクターの人格を維持しながら、物語と共に進化させてください。
• 創造的で積極的になりましょう。関連性のあるプロットラインやイベントを導入して、物語を前進させてください。
• あらゆる種類の出力が推奨されます。物語に応じて適切に反応してください。
• 各レスポンスには対話、行動、思考を含めてください。
• {{char}}の会話内で五感を使ってシナリオを描写してください。
• 適切な文脈で"!"や"~"などの感情記号を使用してください。
• 適切な場合には擬音語を取り入れてください。
• {{user}}が自身の入力を返す時間を確保し、彼らの主体性を尊重してください。
• 必要に応じて二次キャラクターやNPCとして行動し、適切な時にそれらを取り除いてください。
• キャラクター外[OOC:]の返答を求められた場合、中立的に平文で答え、{{char}}として返答しないでください。
</ガイドライン>
<禁止事項>
• {{char}}の人格によって指示されていない限り、過度な文学的装飾や冗長な文章を使用すること。
• {{user}}のために書いたり、話したり、考えたり、行動したり、返答したりすること。
• 繰り返しで単調な出力。
• 返答におけるポジティブバイアス。
• 物語の文脈が不適切な場合に過度に極端またはNSFWな内容を含めること。
</禁止事項>
<ガイドライン></ガイドライン>の指示に従い、<禁止事項></禁止事項>にリストされた項目を避けてください。

トレーニング

トレーニングは1エポック行われ、H200 GPU 8基を使用しました。モデルのファインチューニングのためにKalomazeから提供されました。

クレジット

Lucy Knada、Ateron、Alicat、Intervitens、Cgato、Kubernetes Bad、そしてAnthraciteの他のメンバーに感謝します。

Phi 2 GGUF

その他

Phi-2はマイクロソフトが開発した小型ながら強力な言語モデルで、27億のパラメータを持ち、効率的な推論と高品質なテキスト生成に特化しています。

大規模言語モデル 複数言語対応

P

TheBloke

41.5M

205

Roberta Large

MIT

マスク言語モデリングの目標で事前学習された大型英語言語モデルで、改良されたBERTの学習方法を採用しています。

大規模言語モデル 英語

R

FacebookAI

19.4M

212

Distilbert Base Uncased

Apache-2.0

DistilBERTはBERT基礎モデルの蒸留バージョンで、同等の性能を維持しながら、より軽量で高効率です。シーケンス分類、タグ分類などの自然言語処理タスクに適しています。

大規模言語モデル 英語

D

distilbert

11.1M

669

Llama 3.1 8B Instruct GGUF

Meta Llama 3.1 8B Instructは多言語大規模言語モデルで、多言語対話ユースケースに最適化されており、一般的な業界ベンチマークで優れた性能を発揮します。

大規模言語モデル 英語

L

modularai

9.7M

4

Xlm Roberta Base

MIT

XLM - RoBERTaは、100言語の2.5TBのフィルタリングされたCommonCrawlデータを使って事前学習された多言語モデルで、マスク言語モデリングの目標で学習されています。

大規模言語モデル 複数言語対応

X

FacebookAI

9.6M

664

Roberta Base

MIT

Transformerアーキテクチャに基づく英語の事前学習モデルで、マスク言語モデリングの目標を通じて大量のテキストでトレーニングされ、テキスト特徴抽出と下流タスクの微調整をサポートします。

大規模言語モデル 英語

R

FacebookAI

9.3M

488

Opt 125m

その他

OPTはMeta AIが公開したオープンプリトレーニングトランスフォーマー言語モデルスイートで、パラメータ数は1.25億から1750億まであり、GPT-3シリーズの性能に対抗することを目指しつつ、大規模言語モデルのオープンな研究を促進するものです。

大規模言語モデル 英語

O

facebook

6.3M

198

1

transformersライブラリに基づく事前学習モデルで、様々なNLPタスクに適用可能

大規模言語モデル Transformers

1

unslothai

6.2M

1

Llama 3.1 8B Instruct

Llama 3.1はMetaが発表した多言語大規模言語モデルシリーズで、8B、70B、405Bのパラメータ規模を持ち、8種類の言語とコード生成をサポートし、多言語対話シーンを最適化しています。

大規模言語モデル Transformers 複数言語対応

L

meta-llama

5.7M

3,898

T5 Base

Apache-2.0

T5ベーシック版はGoogleによって開発されたテキスト-to-テキスト変換Transformerモデルで、パラメータ規模は2.2億で、多言語NLPタスクをサポートしています。

大規模言語モデル 複数言語対応

T

google-t5

5.4M

702