UNA SimpleSmaug 34b V1beta

🚀 UNA-SimpleSmaug-34b-v1beta

このモデルは2024年2月4日付けの評価で、34Bモデルの中で1位を獲得し、元のベースモデルであるSmaug-34B-v0.1を77.41で上回っています😎。なお、このモデルはSFTを経ているため、Smaug内のアバカスが正常に戻っており、さらなるトレーニングやDPOが可能です。

更新情報 3月：依然として34Bモデルの王者です。Smaug 70Bもまた、70Bモデルの中では依然として王者です。

そして、なぜHermesやSmaug 70BのUNA版がないのか疑問に思う人もいるかもしれません。私たちは、あまり有用ではないと広く知られているモデルに時間を費やすのは価値がないと考えています。ただし、UNAを使って内部の混乱を修正することは可能かもしれません。Hermesに関しては、数回軽く雑談しましたが、具体的なことは決まっていません。しかし、UNAを使って優れたモデルを再誕させたいと考えており、UNA-Dolphinで短期間で関連するパフォーマンスを見せたように。

このモデルは、Attention層にのみUNAを適用し、MLP層には適用していません。

• Smaugをベースにしています。
• SimpleMathデータセットを使用しています。
• Axolotlでトレーニングされています。

🚀 クイックスタート

このセクションでは、モデルの概要と使い方の基本的な情報を提供します。

✨ 主な機能

• 数学的能力と推論能力の向上：SFTセッション中にAttention層にSimpleMathを適用することで、数学的能力と推論能力が向上し、以前のトレーニングセッションの成果を維持しつつ、性能を向上させています。
• モデルの血縁関係の確認：ModelSimilaritiesツールを使用することで、モデルの血縁関係を数値的に確認することができます。

📚 ドキュメント

実験

この実験の目的は、SFTセッション中にAttention層にSimpleMathを適用した場合の影響と、ニューラルネットワーク全体への影響を理解することです。

結果として、数学的能力と推論能力が向上し、以前のトレーニングセッションの成果を損なうことなく維持されています。

評価

第1回評価

| タスク | バージョン | メトリック | 値 |
| ---- | ----: | ---- | ----: |
| arc_challenge | HF | acc_norm | 0.7457337883959 |
| gsm8k | HF | acc | 0.7247915087187 |
| mmlu | HF | acc | 0.7649553475572 |
| mmlu | HF | acc_norm | 0.7681713551647 |
| hellaswag | HF | acc_norm | 0.8673571001792 |
| truthfulqa | HF | mc2 | 0.7016557407771 |
| winogrande | HF | acc | 0.8382004735595 |

GSM、MMLU、ARC、WINOの能力が向上しています。

第2回評価

引用

Smaug-34B、Bagel、およびベースモデルの背後にあるすべての技術を提供してくれたabacusaiに感謝します。

このモデルを使用する場合は、マージやその他の用途でも引用を提供してください。

リンク

• Open LLM Leaderboard Evaluation Results
• 詳細な結果はこちらで確認できます。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。