Arabic All Nli Triplet Matryoshka

🚀 Omartificial-Intelligence-Space/Arabic-all-nli-triplet-Matryoshka

這是一個基於sentence-transformers庫的模型，用於處理阿拉伯語的句子相似度任務。它基於sentence-transformers/paraphrase-multilingual-mpnet-base-v2基礎模型，在特定數據集上進行訓練，可用於特徵提取和檢索等任務。

🚀 快速開始

該模型可直接使用sentence-transformers庫進行加載和推理，以下是一些使用示例：

示例輸入

{
    "source_sentence": "ذكر متوازن بعناية يقف على قدم واحدة بالقرب من منطقة شاطئ المحيط النظيفة",
    "sentences": [
        "رجل يقدم عرضاً",
        "هناك رجل بالخارج قرب الشاطئ",
        "رجل يجلس على أريكه"
    ]
}

示例輸出

模型會計算源句子與每個候選句子之間的相似度得分。

✨ 主要特性

• 多語言支持：基於多語言基礎模型，可處理阿拉伯語相關任務。
• 多種損失函數：使用MatryoshkaLoss和MultipleNegativesRankingLoss進行訓練。
• 豐富的評估指標：使用多種評估指標，如pearson_cosine、spearman_cosine等，全面評估模型性能。

📦 安裝

要使用該模型，需要安裝sentence-transformers庫：

pip install sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer
import numpy as np

# 加載模型
model = SentenceTransformer('Omartificial-Intelligence-Space/Arabic-all-nli-triplet-Matryoshka')

# 定義源句子和候選句子
source_sentence = "ذكر متوازن بعناية يقف على قدم واحدة بالقرب من منطقة شاطئ المحيط النظيفة"
sentences = [
    "رجل يقدم عرضاً",
    "هناك رجل بالخارج قرب الشاطئ",
    "رجل يجلس على أريكه"
]

# 編碼句子
source_embedding = model.encode(source_sentence)
sentence_embeddings = model.encode(sentences)

# 計算相似度
for i, embedding in enumerate(sentence_embeddings):
    similarity = np.dot(source_embedding, embedding) / (np.linalg.norm(source_embedding) * np.linalg.norm(embedding))
    print(f"與句子 '{sentences[i]}' 的相似度: {similarity}")

📚 詳細文檔

模型信息

評估結果

MTEB MIRACLRetrieval (ar)

MTEB MIRACLRetrievalHardNegatives (ar)

MTEB MLQARetrieval (ara-ara)

MTEB MLQARetrieval (ara-deu)

MTEB MLQARetrieval (ara-eng)

🔧 技術細節

該模型基於sentence-transformers庫構建，使用了MatryoshkaLoss和MultipleNegativesRankingLoss進行訓練。在訓練過程中，模型學習將句子映射到低維向量空間，使得語義相似的句子在向量空間中距離更近。通過在特定的阿拉伯語數據集上進行訓練，模型能夠更好地處理阿拉伯語的句子相似度任務。

📄 許可證

請參考該模型所在倉庫的具體許可證信息。