Gemma 7b Zephyr Sft

🚀 Gemma 7B Zephyr SFT

ZephyrのSFTレシピをGemma 7Bに適用したモデルです。自然言語処理タスクにおいて高性能を発揮します。

✨ 主要特性

モデル概要

• モデルタイプ：公開されている合成データセットの混合でファインチューニングされた、85億パラメータのGPTライクなモデル。
• 言語：主に英語
• ベースモデル：google/gemma-7b

学習レシピ

alignment handbook recipeを使用して学習を行い、W&Bにログを記録しました。 W&Bワークスペースをご覧ください。

📄 ライセンス

このモデルは、元のGemmaモデルコレクションと同じライセンスです。

🔌 コンピューティング環境

このモデルの学習には、Lambda Labsによる8xA100 80GBノードが提供されました。

📊 Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。