Instructor Large

🚀 hku-nlp/instructor-large

このモデルは汎用的な埋め込みモデルです。テスト時に追加のトレーニングなしで、任意のテキスト（タイトル、文、ドキュメントなど）を固定長のベクトルに変換します。指示を与えることで、埋め込みはドメイン固有（科学、金融などの特定分野向け）かつタスク対応（分類、情報検索などの特定タスク向け）になります。 このモデルはsentence-transformerライブラリを使って簡単に利用できます。

🚀 クイックスタート

このモデルは、sentence-transformerライブラリと組み合わせることで簡単に使用できます。以下に、インストール方法と使用例を示します。

📦 インストール

git clone https://github.com/HKUNLP/instructor-embedding
cd sentence-transformers
pip install -e .

💻 使用例

基本的な使用法

以下のコードで、ドメイン固有かつタスク対応の埋め込みを計算できます。

from sentence_transformers import SentenceTransformer
sentence = "3D ActionSLAM: wearable person tracking in multi-floor environments"
instruction = "Represent the Science title; Input:"
model = SentenceTransformer('hku-nlp/instructor-large')
embeddings = model.encode([[instruction,sentence,0]])
print(embeddings)

高度な使用法

以下のコードで、2つの文のグループ間の類似度を、カスタマイズされた埋め込みを使って計算できます。

from sklearn.metrics.pairwise import cosine_similarity
sentences_a = [['Represent the Science sentence; Input: ','Parton energy loss in QCD matter',0], 
               ['Represent the Financial statement; Input: ','The Federal Reserve on Wednesday raised its benchmark interest rate.',0]]
sentences_b = [['Represent the Science sentence; Input: ','The Chiral Phase Transition in Dissipative Dynamics', 0],
               ['Represent the Financial statement; Input: ','The funds rose less than 0.5 per cent on Friday',0]]
embeddings_a = model.encode(sentences_a)
embeddings_b = model.encode(sentences_b)
similarities = cosine_similarity(embeddings_a,embeddings_b)
print(similarities)

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。