Supermario Slerp V2

🚀 スーパーマリオ-SLERP-v2

このモデルはテキスト生成タスクに特化しており、特定のマージ方法を用いて構築されています。多様なデータセットで評価され、良好な結果を示しています。また、Jan Desktopを使って簡単に実行することができます。

🚀 クイックスタート

このモデルは、Jan Desktopを使用してMac、Windows、またはLinuxで実行することができます。

JanはオープンソースのChatGPT代替品で、以下の特徴を持っています。

• 💻 マシン上で100%オフライン：会話内容は機密性が保たれ、あなただけが閲覧できます。
• 🗂️ オープンファイル形式：会話とモデル設定はあなたのコンピュータ上に保存され、いつでもエクスポートまたは削除できます。
• 🌐 OpenAI互換：ポート1337のローカルサーバーでOpenAI互換のエンドポイントを提供します。
• 🌍 オープンソースかつ無料：私たちはオープンで開発を行っています。Githubをチェックしてください。

✨ 主な機能

モデル構築

このモデルは2つのモデルからSlerpマージ方法を使用しています。

1. v1olet_marcoroni-go-bruins-merge-7B
2. juanako-7b-UNA

• ベースモデル: v1olet_marcoroni-go-bruins-merge-7B

モデルのyaml設定ファイルは以下の通りです。

slices:
  - sources:
      - model: v1olet/v1olet_marcoroni-go-bruins-merge-7B
        layer_range: [0, 32]
      - model: fblgit/juanako-7b-UNA
        layer_range: [0, 32]
merge_method: slerp
base_model: v1olet/v1olet_marcoroni-go-bruins-merge-7B
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: bfloat16

評価結果

Open LLM Leaderboardでの評価結果は以下の通りです。詳細な結果はこちらで確認できます。

📚 ドキュメント

Janについて

JanはオープンソースのAIエコシステムの必要性を信じ、オープンソースAIが独占的なAIと同等の競争力を持つためのインフラとツールを構築しています。

Janの長期的なビジョンは、日常の生活やビジネスにおいて人間や企業に役立つ実用的なアシスタントである未来のロボットのための認知フレームワークを構築することです。

Janモデルマージャー

これはモデルをマージするためのテストプロジェクトです。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。