Nomic Embed Vision V1

🚀 nomic-embed-vision-v1: 潜在空間の拡張

nomic-embed-vision-v1 は高性能なビジョン埋め込みモデルで、nomic-embed-text-v1 と同じ埋め込み空間を共有しています。

すべての Nomic Embed Text モデルは現在 マルチモーダル 化されています！

🚀 クイックスタート

✨ ホストされた推論API

Nomic Embed を始める最も簡単な方法は、Nomic Embedding API を使用することです。

nomic Python クライアントを使用して埋め込みを生成するのは簡単です。

from nomic import embed
import numpy as np

output = embed.image(
    images=[
        "image_path_1.jpeg",
        "image_path_2.png",
    ],
    model='nomic-embed-vision-v1',
)

print(output['usage'])
embeddings = np.array(output['embeddings'])
print(embeddings.shape)

詳細については、APIリファレンス を参照してください。

💻 使用例

基本的な使用法

import torch
import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModel, AutoImageProcessor
from PIL import Image
import requests

processor = AutoImageProcessor.from_pretrained("nomic-ai/nomic-embed-vision-v1")
vision_model = AutoModel.from_pretrained("nomic-ai/nomic-embed-vision-v1", trust_remote_code=True)

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(image, return_tensors="pt")

img_emb = vision_model(**inputs).last_hidden_state
img_embeddings = F.normalize(img_emb[:, 0], p=2, dim=1)

高度な使用法

def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0]
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

sentences = ['search_query: What are cute animals to cuddle with?', 'search_query: What do cats look like?']

tokenizer = AutoTokenizer.from_pretrained('nomic-ai/nomic-embed-text-v1')
text_model = AutoModel.from_pretrained('nomic-ai/nomic-embed-text-v1', trust_remote_code=True)
text_model.eval()

encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

with torch.no_grad():
    model_output = text_model(**encoded_input)

text_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
text_embeddings = F.normalize(text_embeddings, p=2, dim=1)

print(torch.matmul(img_embeddings, text_embeddings.T))

📊 データ可視化

下の Nomic Atlas マップをクリックして、ビジョンとテキストの埋め込み空間を比較した 100,000 サンプルの CC3M を可視化してください！

🔧 技術詳細

私たちは、LiT に似た手法を用いて、ビジョン埋め込み器をテキスト埋め込みにアラインさせていますが、テキスト埋め込み器は固定しています！

詳細については、Nomic Embed Vision 技術レポート（近日公開予定！）と対応する ブログ記事 を参照してください。

トレーニングコードは contrastors リポジトリ で公開されています。

📚 使い方

nomic-embed-text は接頭辞が 必要 であることを忘れないでください。したがって、マルチモーダル RAG シナリオ（例：テキストから画像の検索）で Nomic Embed を使用する場合は、search_query: 接頭辞を使用する必要があります。

📄 ライセンス

このライブラリは apache-2.0 ライセンスの下で提供されています。

🌐 Nomicコミュニティに参加する

• Nomic: https://nomic.ai
• Discord: https://discord.gg/myY5YDR8z8
• Twitter: https://twitter.com/nomic_ai