Magnum V2 123b

🚀 Magnum-123b-v1モデル

このモデルはClaude 3モデル、特にSonnetとOpusの散文品質を再現するために設計されたシリーズの6番目のモデルです。Mistral-Large-Instruct-2407をベースにファインチューニングされています。

🚀 クイックスタート

このモデルは、Claude 3モデルの散文品質を再現するために設計されたシリーズの6番目のモデルです。以下に、このモデルの概要と使い方を説明します。

✨ 主な機能

• 複数言語（英語、フランス語、ドイツ語、スペイン語、イタリア語、ポルトガル語、ロシア語、中国語、日本語）に対応したテキスト生成が可能です。
• Claude 3モデルの散文品質を再現するように設計されています。

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションは省略します。

💻 使用例

基本的な使用法

このモデルはMistralのフォーマットでインストラクションチューニングされています。典型的な入力は次のようになります。

<s>[INST] SYSTEM MESSAGE\nUSER MESSAGE[/INST] ASSISTANT MESSAGE</s>[INST] USER MESSAGE[/INST]

また、ContextとInstructのSillyTavernプリセットも提供しています。SillyTavernに含まれるMistralプリセットはデフォルトで誤設定されているようなので、これらのプリセットを代わりに使用することをおすすめします。

📚 ドキュメント

クレジット

• anthracite-org/Stheno-Data-Filtered
• anthracite-org/kalo-opus-instruct-22k-no-refusal
• anthracite-org/nopm_claude_writing_fixed

このモデルはチームの努力の成果であり、クレジットはAnthraciteのすべてのメンバーに帰属します。

トレーニング

トレーニングは1.5エポック行われました。モデルの全パラメータファインチューニングには、8台のAMD Instinct™ MI300X Acceleratorsを使用しました。

また、Mistral Largeモデルは他のモデルよりも学習率の調整に対して非常に敏感であることがわかりました。

これは主に、Mistral派生モデルの典型的な特に狭く低分散の重み分布によるものと考えられます。

最終的に、さらに低い学習率で2エポックのトレーニングを行うとコストがかかるため（$600）、3回目の試行である学習率2e-6、有効バッチサイズ64でのトレーニング結果を選択しました。手動でテストし比較した後、1.5エポックのトレーニング結果を公開することにしました。

また、2エポック目の損失の低下の程度と学習率の強さに相関があることがわかりました。学習率4e-6ではより大きな忘却が発生することが示唆されています。

セキュリティ

ドキュメントに具体的なセキュリティに関する内容が記載されていないため、このセクションは省略します。

🔧 技術詳細

ドキュメントに具体的な技術詳細が記載されていないため、このセクションは省略します。

📄 ライセンス

• ライセンス名: mrl
• ライセンスリンク: https://mistral.ai/licenses/MRL-0.1.md