Fireblossom 32K 7B

🚀 Fireblossom-32K-7B

このモデルは、mergekitを使用して作成された事前学習言語モデルのマージです。

今回のマージでは、タスク算術マージの基本モデルとしてMistral 7B v0.1を使用しました。rope thetaを10Kから100Kに調整することで、少なくとも16Kのコンテキスト長まで拡張できます。元の（真の）ベースモデルでは、マージされたモデルは数学的にLoRAアダプターと同等です。Mistral 7B v0.1が主張する元の32Kコンテキストを維持しています。

目標は、出力がより多様なマージモデルを作成することで、これは創造性を重視して精度を犠牲にする傾向があります。そのため、物語的なロールプレイに強いモデル（cgatoの作品）と、推論に優れた3つのモデル（HuggingFaceH4とSanjiWatsukiによるファインチューニング）を選びました。結果として、カードの指示に従う能力が高いようです。

サンプラー設定：temperature=0.7とminP=0.01で軽くテストしました。より高い創造性を得るには、temperatureを上げてください。

プロンプト：Alpacaフォーマットがネイティブでサポートされていますが、テスト時にはChatMLが使用されました。

ダウンロードオプション:

• フルウェイト
• GGUF量子化
• 8.0bpw h8 exl2量子化

📚 詳細ドキュメント

マージ方法

このモデルは、タスク算術マージ方法を使用し、mistralai/Mistral-7B-v0.1をベースにマージされました。

マージされたモデル

以下のモデルがマージに含まれています：

• HuggingFaceH4/zephyr-7b-beta
• cgato/TheSpice-7b-v0.1.1
• SanjiWatsuki/Kunoichi-DPO-v2-7B
• SanjiWatsuki/Kunoichi-7B

設定

このモデルを作成するために使用されたYAML設定は以下の通りです：

models:
  - model: mistralai/Mistral-7B-v0.1
    # no parameters necessary for base model
  - model: SanjiWatsuki/Kunoichi-DPO-v2-7B
    parameters:
      weight: 0.45
  - model: cgato/TheSpice-7b-v0.1.1
    parameters:
      weight: 0.05
  - model: HuggingFaceH4/zephyr-7b-beta
    parameters:
      weight: 0.05
  - model: SanjiWatsuki/Kunoichi-7B
    parameters:
      weight: 0.45
merge_method: task_arithmetic
base_model: mistralai/Mistral-7B-v0.1
dtype: float16

📄 ライセンス

このモデルはcc-by-nc-4.0ライセンスの下で提供されています。