Nousresearch Nous Hermes 2 Vision GGUF

🚀 Nous-Hermes-2-Vision - Mistral 7B

ギリシャ神話の世界では、ヘルメスは雄弁な神の使者として君臨し、彼は巧みにコミュニケーションの芸術を通じて異なる領域をつなぎます。この神聖な媒介者に敬意を表して、私はこの高度な大規模言語モデルを「ヘルメス」と名付けました。このシステムは、人間の会話の複雑な入り組みを神のような器用さで操るように設計されています。

🚀 クイックスタート

GGUF形式の量子化モデルはTwobobによって提供されており、@jartine と @cmp-nct の支援に感謝します。

Vicunaの参照はこちらです。

注意点として、推論にはまだ何らかのバグが存在する可能性があり、上流で修正される予定です。ご了承ください。

✨ 主な機能

Nous-Hermes-2-Visionは、画期的なビジョン言語モデルです。tekniumによる著名なOpenHermes-2.5-Mistral-7Bの進歩を活用しており、2つの重要な機能強化を備えています。

• SigLIP-400Mの統合：通常の大規模な3Bビジョンエンコーダに依存するアプローチとは異なり、Nous-Hermes-2-Visionは強力なSigLIP-400Mを利用しています。この戦略的な選択により、モデルのアーキテクチャが軽量化されるだけでなく、SigLIPの卓越した機能を活用することで、従来の予想を超える性能向上が実現されています。

• 関数呼び出しを含むカスタムデータセット：このモデルの学習データには、関数呼び出しという独自の機能が含まれています。この独特な追加機能により、Nous-Hermes-2-Visionはビジョン言語アクションモデルとして機能し、開発者は様々な独創的な自動化を作成するための多用途のツールを手にすることができます。

このプロジェクトは、qnguyen3 と teknium によって主導されています。

📦 インストール

データセット

• LVIS-INSTRUCT4V から220K
• ShareGPT4V から60K
• 非公開の関数呼び出しデータ 150K
• tekniumのOpenHermes-2.5 から50Kの会話データ

💻 使用例

基本的な使用法

プロンプトフォーマット

他のLLaVAのバリアントと同様に、このモデルはVicuna-V1をプロンプトテンプレートとして使用しています。詳細は このファイル の conv_llava_v1 を参照してください。 Gradio UIを使用する場合は、このGitHubリポジトリ を訪問してください。

関数呼び出し

関数呼び出しの場合、メッセージは <fn_call> タグで始める必要があります。以下は例です。

<fn_call>{
  "type": "object",
  "properties": {
    "bus_colors": {
      "type": "array",
      "description": "The colors of the bus in the image.",
      "items": {
        "type": "string",
        "enum": ["red", "blue", "green", "white"]
      }
    },
    "bus_features": {
      "type": "string",
      "description": "The features seen on the back of the bus."
    },
    "bus_location": {
      "type": "string",
      "description": "The location of the bus (driving or pulled off to the side).",
      "enum": ["driving", "pulled off to the side"]
    }
  }
}

出力:

{
  "bus_colors": ["red", "white"],
  "bus_features": "An advertisement",
  "bus_location": "driving"
}

高度な使用法

チャット

関数呼び出し

入力画像:

入力メッセージ:

<fn_call>{
    "type": "object",
    "properties": {
      "food_list": {
        "type": "array",
        "description": "List of all the food",
        "items": {
          "type": "string",
        }
      },
    }
}

出力:

{
    "food_list": [
        "Double Burger",
        "Cheeseburger",
        "French Fries",
        "Shakes",
        "Coffee"
    ]
}

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。