Instructor Base

🚀 hku-nlp/instructor-base

このモデルは汎用的な埋め込みモデルです。テスト時には、追加のトレーニングを行わずに、任意のテキスト（タイトル、文章、ドキュメントなど）を固定長のベクトルに変換します。指示により、埋め込みはドメイン固有（科学、金融などに特化）かつタスク認識型（分類、情報検索などにカスタマイズ）になります。

このモデルはsentence-transformerライブラリを使用して簡単に利用できます。

🚀 クイックスタート

以下のセクションでは、このモデルのインストール方法と使用例を説明します。

📦 インストール

git clone https://github.com/HKUNLP/instructor-embedding
cd sentence-transformers
pip install -e .

💻 使用例

基本的な使用法

以下のコードは、ドメイン固有かつタスク認識型の埋め込みを計算する基本的な使用例です。

from sentence_transformers import SentenceTransformer
sentence = "3D ActionSLAM: wearable person tracking in multi-floor environments"
instruction = "Represent the Science title; Input:"
model = SentenceTransformer('hku-nlp/instructor-base')
embeddings = model.encode([[instruction,sentence,0]])
print(embeddings)

高度な使用法

以下のコードは、2つの文のグループ間の類似度を計算する高度な使用例です。

from sklearn.metrics.pairwise import cosine_similarity
sentences_a = [['Represent the Science sentence; Input: ','Parton energy loss in QCD matter',0], 
               ['Represent the Financial statement; Input: ','The Federal Reserve on Wednesday raised its benchmark interest rate.',0]]
sentences_b = [['Represent the Science sentence; Input: ','The Chiral Phase Transition in Dissipative Dynamics', 0],
               ['Represent the Financial statement; Input: ','The funds rose less than 0.5 per cent on Friday',0]]
embeddings_a = model.encode(sentences_a)
embeddings_b = model.encode(sentences_b)
similarities = cosine_similarity(embeddings_a,embeddings_b)
print(similarities)

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。