Jina Embeddings V3 Separation Distilled

🚀 jina-embeddings-v3-separation-distilled モデルカード

このModel2Vecモデルは、jinaai/jina-embeddings-v3 Sentence Transformerの蒸留バージョンで、separationタスクのLoRAが適用されています。静的埋め込みを使用するため、GPUとCPUの両方でテキスト埋め込みの計算を桁違いに高速化できます。計算リソースが限られているアプリケーションや、リアルタイム性能が重要なアプリケーションに最適です。

モデル情報

🚀 クイックスタート

このモデルの概要や使い方をご紹介します。

✨ 主な機能

• 静的埋め込みを使用し、GPUとCPUの両方でテキスト埋め込みの計算を高速化します。
• 計算リソースが限られた環境や、リアルタイム性能が必要なアプリケーションに最適です。

📦 インストール

pipを使用してmodel2vecをインストールします。

pip install model2vec

💻 使用例

基本的な使用法

from_pretrainedメソッドを使用してこのモデルを読み込みます。

from model2vec import StaticModel

# Load a pretrained Model2Vec model
model = StaticModel.from_pretrained("CISCai/jina-embeddings-v3-separation-distilled")

# Compute text embeddings
embeddings = model.encode(["Example sentence"])

高度な使用法

Model2VecモデルをSentence Transformerモデルに読み込む方法を以下に示します。

from sentence_transformers import SentenceTransformer
from sentence_transformers.models import StaticEmbedding

# Initialize a StaticEmbedding module
static_embedding = StaticEmbedding.from_model2vec("CISCai/jina-embeddings-v3-separation-distilled")
model = SentenceTransformer(modules=[static_embedding])
embeddings = model.encode(["Example sentence"])

また、distillメソッドを使用して独自のモデルを蒸留することもできます。

from model2vec.distill import distill

# Choose a Sentence Transformer model
model_name = "BAAI/bge-base-en-v1.5"

# Distill the model
m2v_model = distill(model_name=model_name, pca_dims=256)

# Save the model
m2v_model.save_pretrained("m2v_model")

📚 詳細ドキュメント

仕組み

Model2vecは、小さくて高速で強力なモデルを作成します。私たちが見つけたすべてのタスクで、他の静的埋め込みモデルを大きく上回り、GloVeなどの従来の静的埋め込みモデルよりもはるかに高速に作成できます。最も重要なのは、Model2Vecを使用してモデルを蒸留するためにデータは必要ないということです。

具体的には、語彙をSentence Transformerモデルに通し、その結果の埋め込みの次元をPCAで削減し、最後にzipf重み付けを使用して埋め込みに重みを付けます。推論時には、文に含まれるすべてのトークン埋め込みの平均を取ります。

追加リソース

• ハブ上のすべてのModel2Vecモデル
• Model2Vecリポジトリ
• Model2Vecの結果
• Model2Vecのチュートリアル

ライブラリの開発者

Model2Vecは、Stephan TulkensとThomas van DongenからなるMinish Labチームによって開発されました。

引用

このモデルを使用した場合は、Model2Vecリポジトリを引用してください。

@software{minishlab2024model2vec,
  authors = {Stephan Tulkens, Thomas van Dongen},
  title = {Model2Vec: Turn any Sentence Transformer into a Small Fast Model},
  year = {2024},
  url = {https://github.com/MinishLab/model2vec},
}

📄 ライセンス

このモデルはcc-by-nc-4.0ライセンスの下で提供されています。