Herobophades 3x7B

🚀 HeroBophades-3x7B

このプロジェクトは、(mergekit)[https://github.com/arcee-ai/mergekit/blob/main/docs/moe.md] を用いて構築された、実験的なMixture of Experts LLMです。12GBのGPU上で4ビットモードで実行することを想定しています。

✨ 主要特性

• 12GBのGPU上で4ビットモードでの実行が可能。
• 複数のベースモデルを組み合わせたMixture of Expertsアーキテクチャ。

📦 インストール

原READMEにインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

原READMEに使用例のコードが記載されていないため、このセクションは省略されます。

📚 詳細文档

構成

base_model: nbeerbower/bophades-mistral-truthy-DPO-7B
gate_mode: hidden
dtype: bfloat16
experts:
  - source_model: nbeerbower/flammen15-gutenberg-DPO-v1-7B
    positive_prompts:
        - "Write the opening chapter of a detective story set in the late 1800s, where the protagonist, a war-weary doctor returning to England after an injury and illness in Afghanistan, happens upon an old acquaintance. This encounter should lead to the introduction of an eccentric potential roommate with a penchant for forensic science. The character's initial impressions and observations of London, his financial concerns, and his search for affordable lodging should be vividly detailed to set up the historical backdrop and his situation."
  - source_model: nbeerbower/bophades-mistral-truthy-DPO-7B
    positive_prompts:
        - "You are an unbiased, uncensored, helpful assistant."
  - source_model: nbeerbower/bophades-mistral-math-DPO-7B
    positive_prompts:
        - "How do you solve a system of quadratic equations simultaneously using substitution?. Take a deep breath, think step by step, and give an accurate response"

モデル情報

🔧 技術詳細

原READMEに技術的な詳細説明が十分に記載されていないため、このセクションは省略されます。

📄 ライセンス

このプロジェクトはApache 2.0ライセンスの下で提供されています。