🚀 miqu-1-120b
このモデルは、mergekit を使用して miqu-1-70b-sf のレイヤーを自身とインターリーブすることで作成された、miqu-1-70b の120Bパラメータのフランケンマージモデルです。
このモデルは、Venus-120b-v1.2、MegaDolphin-120b、goliath-120b からインスピレーションを得ています。
CopilotKit（任意のLLMモデルを使用して、あらゆる製品にアプリ内AIコパイロットを構築するためのオープンソースプラットフォーム）のサポートに感謝します。彼らのGitHubをチェックしてみてください。
Lone Striker のEXL2とGGUFの量子化に感謝します！
また、miquliz-120b-v2.0 も利用可能です。これは、Miquの若くて新鮮な姉妹モデルで、Miquとlzlvの新しく改良されたゴリアスのようなマージモデルです。
✨ 主な機能
ユーザーレビュー
u/SomeOddCodeGuy が r/LocalLLaMA で書いたレビューです。
私はこのモデルが大好きです。動作はとても遅いですが、本当に良いモデルです。素晴らしい仕事をしてくれました。
このモデルのおかげで、ChatGPT 4のサブスクリプションを解約しようかと思うくらいです。このモデル、Deepseek や他のいくつかのモデルと一緒に使っていると、もうChatGPTをあまり使わなくなりそうです。
私は16kでQ8を使用していますが、コンテキストに対する忠実度が本当に高いです。今週末にいくつかのテストを試してみるかもしれませんが、現時点では素晴らしいです。
過去2日間、miqu-1を使っていますが、本当に素晴らしいです。私が言っていることを、ChatGPTだけが理解していたような形で理解してくれます。私は意図的に話し方を曖昧にしたり、無意味なことを話したりしていますが、人がするようにしっかりと追いかけてくれます。
Miqu-1は、指示を少し無視することがあります。私はもっと皮肉や侮辱的なAIアシスタントを作ってチャットしようと試み、（数回試した後に）何度も指示して、その後私に謝らないようにしましたが、謝らないようにすることができませんでした。例えば、「うわ、その単語のスペルが上手いですね。本当に賢いですね」と皮肉って、私のスペルミスを嘲笑った後に、「でも本当に、時々スペルミスは起こりますよ」と謝ってしまいます。でも、これが私がこのモデルに対して抱えている唯一の問題です。
モデル詳細
| 属性 |
详情 |
| 最大コンテキスト |
32764トークン（元のベースモデルの奇妙な数値を維持） |
| レイヤー数 |
140 |
プロンプトテンプレート: Mistral
<s>[INST] {prompt} [/INST]
詳細はこちらを参照: 🐺🐦⬛ LLM Prompt Format Comparison/Test: Mixtral 8x7B Instruct with 17 different instruct templates : LocalLLaMA
マージ詳細
マージ方法
このモデルは、パススルーマージ方法を使用してマージされました。
マージされたモデル
以下のモデルがマージに含まれています。
設定
以下のYAML設定がこのモデルの生成に使用されました。
dtype: float16
merge_method: passthrough
slices:
- sources:
- layer_range: [0, 20]
model: 152334H/miqu-1-70b-sf
- sources:
- layer_range: [10, 30]
model: 152334H/miqu-1-70b-sf
- sources:
- layer_range: [20, 40]
model: 152334H/miqu-1-70b-sf
- sources:
- layer_range: [30, 50]
model: 152334H/miqu-1-70b-sf
- sources:
- layer_range: [40, 60]
model: 152334H/miqu-1-70b-sf
- sources:
- layer_range: [50, 70]
model: 152334H/miqu-1-70b-sf
- sources:
- layer_range: [60, 80]
model: 152334H/miqu-1-70b-sf
クレジットと特別な感謝
サポート
- My Ko-fi page で、感謝の気持ちを伝えるためにチップを投げたり、特定のモデルのテストやマージを優先的に依頼することができます。また、余裕があれば、お気に入りのモデル作成者、量子化担当者、フロントエンド/バックエンド開発者をサポートすることも検討してみてください。彼らはそれに値するでしょう！
免責事項
このモデルには流出した重みが含まれており、その内容上、誰もが使用するべきではありません。 😜
でも本当に言うと:
📄 ライセンス
私が知っていること: 機械によって生成された重みは著作権の対象にならない ため、ファイルを取得した後は、使用許可やライセンスを付与したり、使用を制限したりする著作権者は存在しません。
倫理的な観点
私が信じていること: すべての生成AI（LLMを含む）は、主に人間のデータ（公共ドメインと著作権保護されたデータの両方で、おそらく明示的な同意なしに取得されたもの）と、おそらく合成データ（最終的には人間のデータに由来するもの）を使って学習されているために存在しています。誰の知識やデータにも基づいているものが、その基礎となるコンテンツの実際の作成者である一般公衆にも自由にアクセスできることが、公正であると思います。公正な使用、公正なAIです！
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 複数言語対応