Excalibur 7b DPO

🚀 Excalibur-7b-DPO

このプロジェクトは、モデルの微調整を試みたもので、特にビジョン関連のユースケースでの応答品質を向上させることを目的としています。

こちらで重み付き（重要度行列）量子化モデルを入手できます。

こちらで静的（レガシー）量子化モデルを入手できます。

🚀 クイックスタート

このモデルは、ビジョン関連のユースケースでの応答品質を向上させるために微調整されています。以下のセクションでは、モデルの詳細、使用方法、評価結果について説明します。

✨ 主な機能

• Excalibur-7b を Direct Preference Optimization (DPO) を使用して Intel/orca_dpo_pairs データセットで微調整しました。
• 微調整により、モデルの会話能力と総合的な性能が向上しました。
• ベンチマークスコアが、元の Excelsior-7b モデルと比較していくつかのカテゴリで向上しました。

📚 ドキュメント

注意事項と手法

• Excalibur-7b を Direct Preference Optimization (DPO) を使用して Intel/orca_dpo_pairs で微調整しました。
• これは、DPO 微調整が Excelsior-7b ベースモデルに与える影響を調べるための簡単な実験です。
• 単一の A100 で 1 時間強実行しました。
• 微調整により、モデルを会話型でより総合的なものにすることに成功しました。
• ベンチマークスコアが、元の Excelsior-7b と比較して以下のカテゴリで向上しました:
  • ARC: 69.71 -> 70.9
  • HellaSwag: 87.56 -> 87.93
  • TruthfulQA: 67.24 -> 70.82
  • 平均: 73.6 -> 73.84
• 精度: bfloat16

ビジョンに関するサンプル質問

*追加の mmproj ファイルが必要です。ビジョン機能には 2 つのオプションがあります（このリポジトリ内で利用可能）:

• 量子化 - VRAM 制限オプション (197mb)
• 非量子化 - 高品質オプション (596mb)

通常通り Koboldcpp で好みの gguf ファイルを選択し、モデルサブメニューの LLaVA mmproj フィールドで上記の mmproj ファイルを選択してください。

プロンプト形式

• 最良の結果を得るには、ChatML をプロンプト形式として使用してください。Alpaca も使用できます。

Open LLM Leaderboard 評価結果

詳細な結果は こちら で確認できます。

📄 ライセンス

このプロジェクトは、Apache-2.0 ライセンスの下で公開されています。