Arabic All Nli Triplet Matryoshka

🚀 Omartificial-Intelligence-Space/Arabic-all-nli-triplet-Matryoshka

这是一个基于sentence-transformers库的模型，用于处理阿拉伯语的句子相似度任务。它基于sentence-transformers/paraphrase-multilingual-mpnet-base-v2基础模型，在特定数据集上进行训练，可用于特征提取和检索等任务。

🚀 快速开始

该模型可直接使用sentence-transformers库进行加载和推理，以下是一些使用示例：

示例输入

{
    "source_sentence": "ذكر متوازن بعناية يقف على قدم واحدة بالقرب من منطقة شاطئ المحيط النظيفة",
    "sentences": [
        "رجل يقدم عرضاً",
        "هناك رجل بالخارج قرب الشاطئ",
        "رجل يجلس على أريكه"
    ]
}

示例输出

模型会计算源句子与每个候选句子之间的相似度得分。

✨ 主要特性

• 多语言支持：基于多语言基础模型，可处理阿拉伯语相关任务。
• 多种损失函数：使用MatryoshkaLoss和MultipleNegativesRankingLoss进行训练。
• 丰富的评估指标：使用多种评估指标，如pearson_cosine、spearman_cosine等，全面评估模型性能。

📦 安装

要使用该模型，需要安装sentence-transformers库：

pip install sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer
import numpy as np

# 加载模型
model = SentenceTransformer('Omartificial-Intelligence-Space/Arabic-all-nli-triplet-Matryoshka')

# 定义源句子和候选句子
source_sentence = "ذكر متوازن بعناية يقف على قدم واحدة بالقرب من منطقة شاطئ المحيط النظيفة"
sentences = [
    "رجل يقدم عرضاً",
    "هناك رجل بالخارج قرب الشاطئ",
    "رجل يجلس على أريكه"
]

# 编码句子
source_embedding = model.encode(source_sentence)
sentence_embeddings = model.encode(sentences)

# 计算相似度
for i, embedding in enumerate(sentence_embeddings):
    similarity = np.dot(source_embedding, embedding) / (np.linalg.norm(source_embedding) * np.linalg.norm(embedding))
    print(f"与句子 '{sentences[i]}' 的相似度: {similarity}")

📚 详细文档

模型信息

评估结果

MTEB MIRACLRetrieval (ar)

MTEB MIRACLRetrievalHardNegatives (ar)

MTEB MLQARetrieval (ara-ara)

MTEB MLQARetrieval (ara-deu)

MTEB MLQARetrieval (ara-eng)

🔧 技术细节

该模型基于sentence-transformers库构建，使用了MatryoshkaLoss和MultipleNegativesRankingLoss进行训练。在训练过程中，模型学习将句子映射到低维向量空间，使得语义相似的句子在向量空间中距离更近。通过在特定的阿拉伯语数据集上进行训练，模型能够更好地处理阿拉伯语的句子相似度任务。

📄 许可证

请参考该模型所在仓库的具体许可证信息。