30B Lazarus

🚀 30B-Lazarus

このモデルは、言語モデルとモデルマージに対するLoRAの実験的な使用の成果です。これらのLoRAは、もともと意図されたHuggingFaceフォーマットのLLaMAベースモデルではなく、他のモデルに適用されています。目的は、モデルの有効な振る舞いを弱めることなく、望ましい機能を追加することです。

📦 構成

[] = 複合モデルに対してLoRAとして適用 | () = 複合モデルとして結合

[SuperCOT([gtp4xalpaca(manticorechatpygalpha+vicunaunlocked)]+[StoryV2(kaiokendev-SuperHOT-LoRA-prototype30b-8192)])]

🔧 潜在的な制限

LoRAを重ねて適用すると、相互に競合する可能性があります。

📊 主観的な結果

非常に有望です。さらなる実験的テストと客観的テストが必要です。

📚 指示とセットアップの提案

• Alpacaの指示形式が基本ですが、Vicunaの指示形式も機能する場合があります。
• KoboldAIまたはText-Generation-WebUIを使用する場合は、GodlikeとStorywriterのプリセットを切り替え、出力長とメモリ内の指示を調整することをおすすめします。
• 他のプリセットやカスタム設定、特にTemperatureの設定によって、結果が大きく異なる場合があります。
• 上手くいかない場合は、設定をもっと調整してみてください。

📄 使用した言語モデルとLoRAのクレジット

• manticore-30b-chat-pyg-alpha [Epoch0.4] by openaccess-ai-collective
  • https://huggingface.co/openaccess-ai-collective/manticore-30b-chat-pyg-alpha
• SuperCOT-LoRA [30B] by kaiokendev
  • https://huggingface.co/kaiokendev/SuperCOT-LoRA
• Storytelling-LLaMa-LoRA [30B, Version 2] by GamerUnTouch
  • https://huggingface.co/GamerUntouch/Storytelling-LLaMa-LoRAs
• SuperHOT Prototype [30b 8k ctx] by kaiokendev
  • https://huggingface.co/kaiokendev/SuperHOT-LoRA-prototype
• ChanSung's GPT4-Alpaca-LoRA
  • https://huggingface.co/chansung/gpt4-alpaca-lora-30b
• Neko-Institute-of-Science's Vicuna Unlocked LoRA (Checkpoint 46080)
  • https://huggingface.co/Neko-Institute-of-Science/VicUnLocked-30b-LoRA

また、LLaMAを提供しているMetaにも感謝します。

各モデルとLoRAは、このアンサンブルに貢献できるものとして手動で選択されました。このコミュニティから生まれた素晴らしい成果を開発してくれた皆さんに感謝します。