Midnight Miqu 103B V1.0

🚀 MidnightMiqu 103B

このモデルは、sophosympatheia/Midnight-Miqu-70B-v1.0 を自身と結合した103Bのモデルです。Miquをベースにしているため、32Kのコンテキストを扱うことができます。

🚀 クイックスタート

このモデルは、sophosympatheia/Midnight-Miqu-70B-v1.0 を自身と結合した103Bのモデルです。詳細と使用方法については、そのモデルカードを参照してください。このモデルはMiquをベースにしているため、32Kのコンテキストを扱うことができます。

✨ 主な機能

• 103Bのモデルで、高い性能を発揮します。
• Miquをベースにしているため、32Kのコンテキストを扱うことができます。

📚 ドキュメント

寄付

もし寄付で感謝の気持ちを伝えたい場合は、Ko-Fiで私に寄付できます。

量子化

• GGUF
  • Dracones/Midnight-Miqu-103B-v1.0-GGUF
• EXL2
  • Dracones/Midnight-Miqu-103B-v1.0_exl2_2.4bpw
  • Dracones/Midnight-Miqu-103B-v1.0_exl2_3.0bpw
  • Dracones/Midnight-Miqu-103B-v1.0_exl2_3.5bpw
  • Dracones/Midnight-Miqu-103B-v1.0_exl2_3.75bpw
  • Dracones/Midnight-Miqu-103B-v1.0_exl2_4.0bpw
  • Dracones/Midnight-Miqu-103B-v1.0_exl2_4.25bpw
  • Dracones/Midnight-Miqu-103B-v1.0_exl2_4.5bpw
  • Dracones/Midnight-Miqu-103B-v1.0_exl2_5.0bpw
• 探しているものが見つからない場合は、Hugging Faceで検索してみてください。ここに記載されているよりも新しい量子化モデルが利用可能かもしれません。

ライセンスと使用制限

152334H/miqu-1-70b-sf は、Mistralのモデルのリークバージョンをベースにしています。 このマージを含むすべてのmiqu派生モデルは、個人使用にのみ適しています。Mistralはこれまで寛容でしたが、このマージをダウンロードすることで、リークされた重みに基づくモデルを取得および使用する際に内在する法的リスクを負うことを承知しておく必要があります。 このマージには、いかなる保証も付属していませんが、おそらくあなたはすでにそれを知っているでしょう。 私は弁護士ではなく、ここで何が起こっているのかを専門的に知っているわけではありません。個人使用を超えてHugging Faceのモデルを使用する前には、弁護士に相談する必要があります... しかし、このモデルは絶対にそのために使用しないでください！

🔧 技術詳細

マージ方法

このモデルは、パススルーマージ方法を使用してマージされました。

マージされたモデル

以下のモデルがマージに含まれています。

• sophosympatheia/Midnight-Miqu-70B-v1.0

設定

以下のYAML設定がこのモデルを生成するために使用されました。

slices:
  - sources:
      - model: /home/llm/mergequant/models/midnight-miqu-70b
        layer_range: [0, 40] # 40
  - sources:
      - model: /home/llm/mergequant/models/midnight-miqu-70b
        layer_range: [20, 60] # 40
  - sources:
      - model: /home/llm/mergequant/models/midnight-miqu-70b
        layer_range: [40, 80] # 40
merge_method: passthrough
dtype: float16

📄 ライセンス

このモデルのライセンスは other です。