Mythomist 7b

🚀 MythoMist 7B

MythoMist 7B 是一款基於 Mistral 的高度實驗性合併模型，它採用了我最新的算法。在構建模型的過程中，該算法會積極對模型進行基準測試，以實現用戶設定的目標。

補充說明（2023 - 11 - 23）

經過更深入的研究，發現我最初的算法存在一個缺陷，目前該問題已得到解決。我曾考慮刪除這個模型，因為它並未完全遵循最初的目標，但鑑於有很多人喜歡它，所以我決定保留。請密切關注我的 MergeMonster 倉庫，以獲取 Merge Monster 生成的合併模型的進一步發展和發佈信息。

MythoMist 的主要目的是減少“anticipation”、“ministrations”等詞彙及其變體的使用，這些詞彙在我們的認知中與 ChatGPT 的角色扮演數據存在負面關聯。該算法無法完全禁止這些詞彙，但會盡力減少其使用頻率。

腳本現已在我的 Github 上發佈。注意 - 需要大量的顯存。

量化模型可從 TheBloke 處獲取：GGUF - GPTQ - AWQ（你太棒啦！）

📚 詳細文檔

最終合併組成

在處理了 12 個模型後，我的算法得出了以下（近似）最終組成：

在合併過程中，這些模型的劃分並沒有嚴格的邏輯。它會從每個模型中提取小部分內容，然後按照類似於我 MythoMax 配方的模式，逐一層地與其他模型混合，即底層張量以交叉的方式進行混合。

這個新的過程僅決定模型的層，而不涉及單獨的 lm_head 和 embed_tokens 層，這兩層對模型的輸出有很大影響。為此，我運行了一個單獨的腳本，選擇能產生最長回覆的單個張量，最終確定為 Toppy - M - 7B。

提示詞格式

由於此合併模型使用的提示詞格式差異較大，出於兼容性考慮，目前我建議使用 Alpaca 作為提示詞模板：

### Instruction:
Your instruction or question here.

### Response:

📄 許可證

許可證類型：其他