Instructor Xl

🚀 hku-nlp/instructor-xl

這是一個通用的嵌入模型：在測試階段，它能夠將任何文本（例如標題、句子、文檔等）映射為固定長度的向量，無需進一步訓練。通過指令，生成的嵌入向量具有特定領域性（例如，專門用於科學、金融等領域）和任務感知性（例如，針對分類、信息檢索等任務進行定製）。該模型藉助 sentence-transformer 庫，使用起來十分便捷。

🚀 快速開始

此模型是一個強大的文本嵌入工具，能在無需額外訓練的情況下，將各類文本轉換為特定領域和任務感知的向量表示。

📦 安裝指南

你可以按照以下步驟安裝所需環境：

git clone https://github.com/HKUNLP/instructor-embedding
cd sentence-transformers
pip install -e .

💻 使用示例

基礎用法

以下代碼展示瞭如何使用該模型計算特定領域和任務感知的嵌入向量：

from sentence_transformers import SentenceTransformer
sentence = "3D ActionSLAM: wearable person tracking in multi-floor environments"
instruction = "Represent the Science title; Input:"
model = SentenceTransformer('hku-nlp/instructor-xl')
embeddings = model.encode([[instruction,sentence,0]])
print(embeddings)

高級用法

你可以進一步使用該模型，結合定製化嵌入向量來計算兩組句子之間的相似度：

from sklearn.metrics.pairwise import cosine_similarity
sentences_a = [['Represent the Science sentence; Input: ','Parton energy loss in QCD matter',0], 
               ['Represent the Financial statement; Input: ','The Federal Reserve on Wednesday raised its benchmark interest rate.',0]]
sentences_b = [['Represent the Science sentence; Input: ','The Chiral Phase Transition in Dissipative Dynamics', 0],
               ['Represent the Financial statement; Input: ','The funds rose less than 0.5 per cent on Friday',0]]
embeddings_a = model.encode(sentences_a)
embeddings_b = model.encode(sentences_b)
similarities = cosine_similarity(embeddings_a,embeddings_b)
print(similarities)

📄 許可證

本項目採用 Apache-2.0 許可證。