Fox 1 1.6B

🚀 Fox-1-1.6B モデル

Fox-1-1.6B は、TensorOpera AI によって開発された、総パラメータ数が 16 億のデコーダベースの小型言語モデル（SLM）です。このモデルは、3 段階のデータコースを使用して、3 兆のテキストとコードデータで訓練され、シーケンス長は 8K です。また、グループ化クエリアテンション（GQA）を採用し、4 つのキーバリューヘッドと 16 個のアテンションヘッドを持ち、より高速な推論を実現しています。

🚀 クイックスタート

⚠️ 重要な注意事項

このモデルは基礎的な事前学習モデルであり、ほとんどのユースケースではさらなる微調整が必要です。より対話的な体験を得るためには、tensoropera/Fox-1-1.6B-Instruct-v0.1 をおすすめします。これは Fox-1 の命令微調整版です。

このモデルの詳細を知りたい場合は、Fox-1 技術レポート と リリースブログ記事 をご覧ください。

✨ 主な機能

• パラメータ規模：総パラメータ数が 16 億で、小型言語モデルに分類されます。
• 訓練データ：3 段階のデータコースを使用して、3 兆のテキストとコードデータで訓練され、シーケンス長は 8K です。
• アテンションメカニズム：グループ化クエリアテンション（GQA）を採用し、4 つのキーバリューヘッドと 16 個のアテンションヘッドを持ち、推論速度を向上させています。

📚 ドキュメント

ベンチマークテスト

Fox-1 は、ARC Challenge（25 回少サンプル）、HellaSwag（10 回少サンプル）、TruthfulQA（0 回少サンプル）、MMLU（5 回少サンプル）、Winogrande（5 回少サンプル）、および GSM8k（5 回少サンプル）で評価されました。Open LLM Leaderboard の評価設定に従い、これら 6 つのベンチマークの平均スコアを報告しています。このモデルは、8 つの H100 GPU を搭載したマシンで評価されました。

Open LLM Leaderboard 評価結果

詳細な結果は こちら をご覧ください。

📄 ライセンス

このモデルは Apache-2.0 ライセンスで提供されています。