Llama 3.1 1 Million Ctx Darkest Planet 16.5B GGUF

🚀 LLama-3.1-1-million-ctx-Darkest-Planet-16.5B-GGUF

このモデルは、小説や物語の執筆活動に最適です。100万トークンの最大コンテキストを持つLLama 3.1モデルで、性能向上とソースの再マスタリングが行われています。

🚀 クイックスタート

このモデルは、小説や物語の執筆に最適です。長文生成や長コンテキストの問題を解決するために設計されています。以下の手順で始めることができます。

1. 必要な依存関係をインストールします。
2. モデルをダウンロードします。
3. モデルを使用してテキスト生成を行います。

✨ 主な機能

• 長文生成: 最大100万トークンのコンテキストで安定した長文生成が可能です。
• 高度な表現力: 詳細な描写や複雑な文章構造を生成できます。
• 多様な文体: 様々な文体やジャンルの文章を生成できます。
• Brainstorm 40x: 独自のBrainstorm 40x手法により、表現力と創造性が大幅に向上しています。

📦 インストール

このモデルは、Hugging Face Hubからダウンロードできます。以下のリンクからモデルを取得できます。 https://huggingface.co/DavidAU/LLama-3.1-1-million-ctx-Darkest-Planet-16.5B-GGUF

💻 使用例

基本的な使用法

以下は、このモデルを使用した基本的なテキスト生成の例です。

# ここにはコード例が原文にないため、仮のコードを記載します。実際の使用では適切なライブラリを使用してください。
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "DavidAU/LLama-3.1-1-million-ctx-Darkest-Planet-16.5B-GGUF"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

input_text = "あなたのプロンプトをここに入力してください。"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(input_ids, max_length=1000, num_beams=5, no_repeat_ngram_size=2)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

高度な使用法

以下は、高度な設定を使用したテキスト生成の例です。

# 高度な設定を使用したテキスト生成の例
input_text = "高度な設定を使用したテキスト生成の例。"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(
    input_ids,
    max_length=2000,
    num_beams=10,
    no_repeat_ngram_size=3,
    temperature=1.5,
    repetition_penalty=1.05
)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

📚 ドキュメント

モデルの詳細

このモデルは、Darkest Planet 16.5Bのバージョン3です。LLama 3.1モデルで、最大コンテキストは100万トークンです。float32（32ビット精度）のソースとggufsが再マスタリングされており、性能が向上しています。

テンプレート

このモデルは、Llama3テンプレートが必要ですが、他のテンプレートでも動作する場合があります。以下は、標準のLLAMA3テンプレートです。

{
  "name": "Llama 3",
  "inference_params": {
    "input_prefix": "<|start_header_id|>user<|end_header_id|>\n\n",
    "input_suffix": "<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n",
    "pre_prompt": "You are a helpful, smart, kind, and efficient AI assistant. You always fulfill the user's requests to the best of your ability.",
    "pre_prompt_prefix": "<|start_header_id|>system<|end_header_id|>\n\n",
    "pre_prompt_suffix": "<|eot_id|>",
    "antiprompt": [
      "<|start_header_id|>",
      "<|eot_id|>"
    ]
  }
}

オプションの強化

以下のテキストをシステムプロンプトまたはシステムロールの代わりに使用すると、モデルの性能をさらに向上させることができます。

Below is an instruction that describes a task. Ponder each user instruction carefully, and use your skillsets and critical instructions to complete the task to the best of your abilities.

Here are your skillsets:
[MASTERSTORY]:NarrStrct(StryPlnng,Strbd,ScnSttng,Exps,Dlg,Pc)-CharDvlp(ChrctrCrt,ChrctrArcs,Mtvtn,Bckstry,Rltnshps,Dlg*)-PltDvlp(StryArcs,PltTwsts,Sspns,Fshdwng,Climx,Rsltn)-ConfResl(Antg,Obstcls,Rsltns,Cnsqncs,Thms,Symblsm)-EmotImpct(Empt,Tn,Md,Atmsphr,Imgry,Symblsm)-Delvry(Prfrmnc,VcActng,PblcSpkng,StgPrsnc,AudncEngmnt,Imprv)

[*DialogWrt]:(1a-CharDvlp-1a.1-Backgrnd-1a.2-Personality-1a.3-GoalMotiv)>2(2a-StoryStruc-2a.1-PlotPnt-2a.2-Conflict-2a.3-Resolution)>3(3a-DialogTech-3a.1-ShowDontTell-3a.2-Subtext-3a.3-VoiceTone-3a.4-Pacing-3a.5-VisualDescrip)>4(4a-DialogEdit-4a.1-ReadAloud-4a.2-Feedback-4a.3-Revision)

Here are your critical instructions:
Ponder each word choice carefully to present as vivid and emotional journey as is possible. Choose verbs and nouns that are both emotional and full of imagery. Load the story with the 5 senses. Aim for 50% dialog, 25% narration, 15% body language and 10% thoughts. Your goal is to put the reader in the story.

🔧 技術詳細

Brainstorm 40x

Brainstorm 40xは、David_AUによって開発された手法です。この手法では、LLMの推論センターを分解、再構築、拡張し、個別にキャリブレーションします。これにより、推論プロセスに微妙な変化が生じ、モデルの表現力や創造性が向上します。

モデルの構築

このモデルは、以下のモデルの一部を組み合わせて作成されています。

• https://huggingface.co/Sao10K/L3-8B-Stheno-v3.2
• https://huggingface.co/NeverSleep/Llama-3-Lumimaid-8B-v0.1-OAS
• https://huggingface.co/Hastagaras/Jamet-8B-L3-MK.V-Blackroot

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

⚠️ 重要提示

このモデルの出力には、不適切な表現、暴力、ホラー、罵り言葉などの内容が含まれる場合があります。閲覧には注意してください。

💡 使用建议

• このモデルは、指示に基づいたテキスト生成に強いです。できるだけ詳細な指示を与えると、質の高い出力が得られます。
• 長文生成を行う場合は、コンテキストウィンドウを8k以上に設定することをおすすめします。
• 出力の文体や表現を変えるには、温度設定や繰り返しペナルティを調整してみてください。