Stella Mrl Large Zh V3.5 1792d

🚀 stella-mrl-large-zh-v3.5-1792d模型

本項目開源的 stella-mrl-large-zh-v3.5-1792d 模型，主要用於句子相似度任務。該模型具備可變的向量維度，在多種自然語言處理任務中展現出了良好的性能。

🚀 快速開始

模型簡介

本次開源的 stella-mrl-large-zh-v3.5-1792d 模型，是在 stella-large-zh-v3-1792d 的基礎上，使用 MRL 方法訓練而成，其主要特點是支持可變的向量維度。

使用示例

from sentence_transformers import SentenceTransformer
from sklearn.preprocessing import normalize

model = SentenceTransformer("infgrad/stella-mrl-large-zh-v3.5-1792d")
# 注意先不要normalize! 選取前n維後再normalize
vectors = model.encode(["text1", "text2"], normalize_embeddings=False)
print(vectors.shape)  # shape is [2,1792]
# n_dims越大效果越好，但是時空消耗就越大。建議維度選取128的倍數，因為是這麼訓練的
n_dims = 768
cut_vecs = normalize(vectors[:, :n_dims])

✨ 主要特性

• 可變向量維度：支持不同的向量維度，可根據實際需求靈活調整，在效果和時空消耗之間進行平衡。
• 中英雙語支持：對中文和英文都有較好的處理能力，適用於多語言場景。
• 泛化性強：在多種自然語言處理任務中表現出色，尤其在檢索和語義匹配任務上，對泛化性和私有通用測試集效果有更多考慮。

📦 安裝依賴

使用該模型需要安裝 sentence-transformers 和 sklearn 庫，可以使用以下命令進行安裝：

pip install sentence-transformers sklearn

📚 詳細文檔

不同向量維度的 CMTEB 得分

stella-mrl-large-zh-v3.5-1792d_1024 代表取前 1024 維。整體趨勢是維度越大效果越好。

上述表格中 stella-mrl-large-zh-v3.5-1792d_1792 的得分為 68.56 和榜單 68.55 得分不一致，原因和權重類型有關，小差異請忽略不計。

模型性能指標

新聞動態

• [2024-04-06] 開源 puff 系列模型，專門針對檢索和語義匹配任務，更多的考慮泛化性和私有通用測試集效果，向量維度可變，中英雙語。
• [2024-02-27] 開源 stella-mrl-large-zh-v3.5-1792d 模型，支持向量可變維度。
• [2024-02-17] 開源 stella v3 系列、dialogue 編碼模型和相關訓練數據。
• [2023-10-19] 開源 stella-base-en-v2 使用簡單，不需要任何前綴文本。
• [2023-10-12] 開源 stella-base-zh-v2 和 stella-large-zh-v2，效果更好且使用簡單，不需要任何前綴文本。
• [2023-09-11] 開源 stella-base-zh 和 stella-large-zh

歡迎去 本人主頁 查看最新模型，並提出您的寶貴意見！

📄 許可證

本項目採用 MIT 許可證。