Psyfighter2 13B Vore GGUF

🚀 Psyfighter2-13B-vore-GGUF模型卡片

这是SnakyMcSnekFace/Psyfighter2-13B-vore模型的量化版本。你可以在该仓库中找到F16精度的模型权重以及模型训练的详细信息。

此模型是KoboldAI/LLaMA2-13B-Psyfighter2的微调版本，经过优化以更好地理解特定主题的上下文。该模型的主要用途是作为故事写作助手、聊天对话模型以及交互式的文字冒险游戏。

该模型经过专门训练，可在Kobold AI冒险模式（第二人称的文字冒险故事格式）中运行。

📦 模型详情

此模型的行为与它所派生的KoboldAI/LLaMA2-13B-Psyfighter2类似。欲了解更多信息，请查看此处的README.md。

🚀 快速开始

该模型可与任何设计用于处理.gguf模型的AI聊天机器人和前端一起使用。该模型可完全装入8GB显存，但在较小的显卡上运行时性能可能会下降。

与基础模型类似，模型接收到的提示越少，输出就越具创造性。例如，当仅用2 - 3个单词作为提示时，写作助手将生成一个完整的故事。

在聊天模式中，如果对话未按你期望的方向发展，请编辑模型的输出并让它继续生成。模型也会匹配对话的风格。

模型有两个版本：Q4_K_M（更小、更快）和Q8_0（较慢，但散文质量更好）。

Koboldcpp Colab笔记本

尝试该模型最简单的方法是使用Koboldcpp Colab笔记本。这种方法不需要你拥有强大的显卡。

• 打开笔记本
• 将模型URL粘贴到Model字段：https://huggingface.co/SnakyMcSnekFace/Psyfighter2-13B-vore-GGUF/resolve/main/Psyfighter2-13B-vore.Q4_K_M.gguf
• 启动笔记本，等待底部出现CloudFlare隧道的URL并点击它
• 选择“Settings”并按以下方式进行配置：
  • 在“Basic”选项卡中：
    • Temperature = 0.8
    • Amount to Gen. = 512
    • Top p Sampling = 0.9
    • Repetition Pentalty = 1.1
  • 在“Advanced”选项卡中：
    • Min-P = 0.1
    • EOS Token Ban = Unban
    • Placeholder Tags = Checked
• 选择“Scenarios” -> “New Story”以将模型用作写作助手

在Colab笔记本中运行Q8_0模型

• 将模型URL粘贴到Model字段：https://huggingface.co/SnakyMcSnekFace/Psyfighter2-13B-vore-GGUF/resolve/main/Psyfighter2-13B-vore.Q8_0.gguf
• 将Layers字段设置为30（如果模型无法启动，请减小该数字）

冒险模式

在左下角选择“Story”以生成故事前提，选择“Action”以让你的角色采取行动。在冒险模式中，模型期望所有玩家操作都以第二人称书写。例如：

As you venture deeper into the damp cave, you come across a lone goblin. The vile creature mumbles something to itself as it stares at the glowing text on a cave wall. It doesn't notice your approach.

> You sneak behind the goblin and hit it with the sword.

勾选“Allow Editing”以编辑故事，覆盖并重新生成模型响应的部分内容。如果模型出错或故事未按你期望的方向发展，这将非常有用。

Backyard AI

另一种方便使用该模型的方法是使用Backyard AI应用程序，它允许你在本地计算机上运行模型。你需要至少8GB显存的显卡才能舒适地使用该模型。

如果你没有强大的GPU，Backyard AI提供了在其服务器上运行模型的选项，但这需要付费。

直接从HuggingFace下载（测试版）

在左侧面板中，点击Manage Models，然后选择Hugging face models。将https://huggingface.co/SnakyMcSnekFace/Psyfighter2-13B-vore-GGUF粘贴到文本字段中并按Fetch Models。点击模型格式旁边的Download按钮。模型下载完成后，你可以在角色卡中选择它或将其设置为默认模型。

手动下载

将Psyfighter2-13B-vore.Q4_K_M.gguf或Psyfighter2-13B-vore.Q8_0.gguf文件下载到你计算机的%appdata%\faraday\models文件夹中。该模型应会出现在Manage Models菜单的Downloaded Models下。然后你可以在角色卡中选择它或将其设置为默认模型。

🔄 模型更新

• 2024年9月14日 - 对模型进行对齐，以优化冒险模式流程并提高叙事质量
• 2024年6月9日 - 对模型进行微调，使其遵循Kobold AI冒险模式格式
• 2024年6月2日 - 修复训练和合并中的错误，显著提高整体散文质量
• 2024年5月25日 - 更新训练过程，使模型更连贯并提高写作质量
• 2024年4月13日 - 上传模型的第一个版本

📄 许可证

该模型使用llama2许可证。