Remm SLERP L2 13B

🚀 Re:MythoMax (ReMM)

Re:MythoMax (ReMM) は、更新されたモデルを用いて元の MythoMax-L2-B13 を再現した試みです。このモデルは、SLERP [TESTING] を使用して ReML と Huginn v1.2 をマージしています。

🚀 クイックスタート

このプロジェクトでは、以下の手順でモデルの再現を行っています。

ReML の再現

ハードウェアの制限により、一部のマージは2段階で行われました。

# 1段階目: ReML の一部を作成
python ties_merge.py TheBloke/Llama-2-13B-fp16 ./ReML-L2-13B-part1  --merge The-Face-Of-Goonery/Chronos-Beluga-v2-13bfp16 --density 0.42 --merge jondurbin/airoboros-l2-13b-2.1 --density 0.56 --cuda

# 2段階目: ReML の最終版を作成
python ties_merge.py TheBloke/Llama-2-13B-fp16 ./ReML-L2-13B --merge NousResearch/Nous-Hermes-Llama2-13b --density 0.30 --merge Undi95/ReML-L2-13B-part1 --density 0.70 --cuda

ReMM の再現

# 3段階目: ReMM を作成
python slerpmergelm.py "The-Face-Of-Goonery_Huginn-13b-v1.2" "Undi95_ReML-L2-13B" "result"

使用されている SLERP のバージョンは、ノートブックでの使用を可能にするために異なっています。詳細は こちら を参照してください（@Vali ありがとう）。

✨ 主な機能

このリポジトリには、元の MythoMax を再現し、SLERP でマージし更新された ReMM-SLERP の fp16 ファイルが含まれています。

📦 インストール

インストールに関する具体的な手順は、上記のコマンドを実行することで行われます。

📚 ドキュメント

モデル情報

プロンプトテンプレート

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:

評価結果

詳細な評価結果は こちら で確認できます。

📄 ライセンス

このプロジェクトは、CC BY-NC 4.0 ライセンスの下で提供されています。