Psyfighter2 13B Vore GGUF

🚀 Psyfighter2-13B-vore-GGUF模型卡片

這是SnakyMcSnekFace/Psyfighter2-13B-vore模型的量化版本。你可以在該倉庫中找到F16精度的模型權重以及模型訓練的詳細信息。

此模型是KoboldAI/LLaMA2-13B-Psyfighter2的微調版本，經過優化以更好地理解特定主題的上下文。該模型的主要用途是作為故事寫作助手、聊天對話模型以及交互式的文字冒險遊戲。

該模型經過專門訓練，可在Kobold AI冒險模式（第二人稱的文字冒險故事格式）中運行。

📦 模型詳情

此模型的行為與它所派生的KoboldAI/LLaMA2-13B-Psyfighter2類似。欲瞭解更多信息，請查看此處的README.md。

🚀 快速開始

該模型可與任何設計用於處理.gguf模型的AI聊天機器人和前端一起使用。該模型可完全裝入8GB顯存，但在較小的顯卡上運行時性能可能會下降。

與基礎模型類似，模型接收到的提示越少，輸出就越具創造性。例如，當僅用2 - 3個單詞作為提示時，寫作助手將生成一個完整的故事。

在聊天模式中，如果對話未按你期望的方向發展，請編輯模型的輸出並讓它繼續生成。模型也會匹配對話的風格。

模型有兩個版本：Q4_K_M（更小、更快）和Q8_0（較慢，但散文質量更好）。

Koboldcpp Colab筆記本

嘗試該模型最簡單的方法是使用Koboldcpp Colab筆記本。這種方法不需要你擁有強大的顯卡。

• 打開筆記本
• 將模型URL粘貼到Model字段：https://huggingface.co/SnakyMcSnekFace/Psyfighter2-13B-vore-GGUF/resolve/main/Psyfighter2-13B-vore.Q4_K_M.gguf
• 啟動筆記本，等待底部出現CloudFlare隧道的URL並點擊它
• 選擇“Settings”並按以下方式進行配置：
  • 在“Basic”選項卡中：
    • Temperature = 0.8
    • Amount to Gen. = 512
    • Top p Sampling = 0.9
    • Repetition Pentalty = 1.1
  • 在“Advanced”選項卡中：
    • Min-P = 0.1
    • EOS Token Ban = Unban
    • Placeholder Tags = Checked
• 選擇“Scenarios” -> “New Story”以將模型用作寫作助手

在Colab筆記本中運行Q8_0模型

• 將模型URL粘貼到Model字段：https://huggingface.co/SnakyMcSnekFace/Psyfighter2-13B-vore-GGUF/resolve/main/Psyfighter2-13B-vore.Q8_0.gguf
• 將Layers字段設置為30（如果模型無法啟動，請減小該數字）

冒險模式

在左下角選擇“Story”以生成故事前提，選擇“Action”以讓你的角色採取行動。在冒險模式中，模型期望所有玩家操作都以第二人稱書寫。例如：

As you venture deeper into the damp cave, you come across a lone goblin. The vile creature mumbles something to itself as it stares at the glowing text on a cave wall. It doesn't notice your approach.

> You sneak behind the goblin and hit it with the sword.

勾選“Allow Editing”以編輯故事，覆蓋並重新生成模型響應的部分內容。如果模型出錯或故事未按你期望的方向發展，這將非常有用。

Backyard AI

另一種方便使用該模型的方法是使用Backyard AI應用程序，它允許你在本地計算機上運行模型。你需要至少8GB顯存的顯卡才能舒適地使用該模型。

如果你沒有強大的GPU，Backyard AI提供了在其服務器上運行模型的選項，但這需要付費。

直接從HuggingFace下載（測試版）

在左側面板中，點擊Manage Models，然後選擇Hugging face models。將https://huggingface.co/SnakyMcSnekFace/Psyfighter2-13B-vore-GGUF粘貼到文本字段中並按Fetch Models。點擊模型格式旁邊的Download按鈕。模型下載完成後，你可以在角色卡中選擇它或將其設置為默認模型。

手動下載

將Psyfighter2-13B-vore.Q4_K_M.gguf或Psyfighter2-13B-vore.Q8_0.gguf文件下載到你計算機的%appdata%\faraday\models文件夾中。該模型應會出現在Manage Models菜單的Downloaded Models下。然後你可以在角色卡中選擇它或將其設置為默認模型。

🔄 模型更新

• 2024年9月14日 - 對模型進行對齊，以優化冒險模式流程並提高敘事質量
• 2024年6月9日 - 對模型進行微調，使其遵循Kobold AI冒險模式格式
• 2024年6月2日 - 修復訓練和合並中的錯誤，顯著提高整體散文質量
• 2024年5月25日 - 更新訓練過程，使模型更連貫並提高寫作質量
• 2024年4月13日 - 上傳模型的第一個版本

📄 許可證

該模型使用llama2許可證。