Instructor Xl

🚀 hku-nlp/instructor-xl

このモデルは汎用的な埋め込みモデルです。テスト時には、追加のトレーニングなしで、任意のテキスト（タイトル、文、ドキュメントなど）を固定長のベクトルに変換します。指示を与えることで、埋め込みはドメイン固有（科学、金融などの特定分野向け）かつタスク対応（分類、情報検索などの特定タスク向け）になります。

このモデルは sentence-transformer ライブラリを使って簡単に利用できます。

🚀 クイックスタート

以下のセクションでは、このモデルのインストール方法と使用例を紹介します。

📦 インストール

git clone https://github.com/HKUNLP/instructor-embedding
cd sentence-transformers
pip install -e .

💻 使用例

基本的な使用法

以下のコードは、ドメイン固有かつタスク対応の埋め込みを計算する基本的な使用例です。

from sentence_transformers import SentenceTransformer
sentence = "3D ActionSLAM: wearable person tracking in multi-floor environments"
instruction = "Represent the Science title; Input:"
model = SentenceTransformer('hku-nlp/instructor-xl')
embeddings = model.encode([[instruction,sentence,0]])
print(embeddings)

高度な使用法

以下のコードは、カスタマイズされた埋め込みを使って、2つの文のグループ間の類似度を計算する高度な使用例です。

from sklearn.metrics.pairwise import cosine_similarity
sentences_a = [['Represent the Science sentence; Input: ','Parton energy loss in QCD matter',0], 
               ['Represent the Financial statement; Input: ','The Federal Reserve on Wednesday raised its benchmark interest rate.',0]]
sentences_b = [['Represent the Science sentence; Input: ','The Chiral Phase Transition in Dissipative Dynamics', 0],
               ['Represent the Financial statement; Input: ','The funds rose less than 0.5 per cent on Friday',0]]
embeddings_a = model.encode(sentences_a)
embeddings_b = model.encode(sentences_b)
similarities = cosine_similarity(embeddings_a,embeddings_b)
print(similarities)

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。