Lamarck 14B V0.7

🚀 Lamarck 14B v0.7

Lamarck 14B v0.7は、多段階推論、散文、多言語能力に重点を置いた汎用的なモデルマージです。14Bパラメータモデルクラスには多くの強力なモデルがありますが、Lamarckはバランスの良い堅牢なモデルを目指しています。

✨ 主な機能

• ベンチマークでの性能低下がなく、前回のリリースよりもほとんどの面で向上しており、このバージョンのLamarckは14Bパラメータモデルの平均値41.0を超える最大値を達成しています。
• 多段階推論、散文、多言語能力に重点を置いた汎用的なマージ。
• 独自のツールチェーンを使用して、LoRAとレイヤーターゲットマージのプロセスを自動化。

📚 詳細ドキュメント

ベースモデル

その他情報

モデルの生成方法

Lamarckは、独自のツールチェーンを使用して、LoRAとレイヤーターゲットマージのプロセスを自動化して生成されます。具体的な手法は以下の通りです。

• 特殊目的のマージから抽出したLoRAアダプター
• カスタムベースモデルとモデルストックを使用し、huihui-ai/Qwen2.5-14B-Instruct-abliterated-v2 からのLoRAを使用して、モデルストックマージでよく見られるIFEVAL損失を最小化
• 積極的なパンくずと保守的なDELLAマージのための別々のブランチ
• 各段階で、2 - 4レイヤーごとに高度にターゲット化された重み/密度勾配
• 最後に、SLERP + TIESマージを使用して、パンくずとDELLAブランチを再結合して仕上げ

モデルの性能に影響を与えたモデル

Lamarckの性能は、慎重なマージを通じて選択された微調整作業にさかのぼる祖先に由来します。中間マージを通じて、以下のモデルが早期のレイヤーでのBBH性能向上に寄与し、後期のレイヤーでは他のモデルが相乗的な影響を与えています。

• 早期レイヤー：arcee-ai/Virtuoso-Small、sthenno-com/miscii-14b-1225、VAGOsolutions/SauerkrautLM-v2-14b-DPO
• 後期レイヤー：deepseek-ai/DeepSeek-R1-Distill-Qwen-14B、Krystalan/DRT-o1-14B、EVA-UNIT-01/EVA-Qwen2.5-14B-v0.2、CultriX/Qwen2.5-14B-Wernicke

また、散文や翻訳能力は、Krystalan/DRT-o1-14B と underwoods/medius-erebus-magnum-14b の繰り返しの再強調によって向上しています。sometimesanotion/Qwenvergence-14B-v3-Prose に含まれる他のモデルも、散文の質と推論の相乗効果に影響を与えています。

影響を与えたモデルの作成者への感謝

@arcee-ai、@deepseek-ai、@Krystalan、@underwoods、@VAGOSolutions、@CultriX、@sthenno-com、@rombodawg のモデルが最も影響を与えました。Vimarckoso v3 のモデルカードには、その拡張された系譜が記載されています。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。

💡 使用アドバイス

ベンチマークでの性能低下がなく、前回のリリースよりもほとんどの面で向上しており、このバージョンのLamarckは14Bパラメータモデルの平均値41.0を超える最大値を達成しています。フィードバックを提供してくれた皆さん、ありがとうございます！