Ritrieve Zh V1

🚀 richinfoai/ritrieve_zh_v1 模型

本模型由 richinfoai 訓練，用於句子相似度任務。它基於蒸餾學習，從多個優秀模型中汲取優勢，在 MTEB(cmn, v1) 上取得了出色的效果。

🚀 快速開始

本模型無需指令，可在 SentenceTransformer 中直接使用：

import os

os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
from sentence_transformers import SentenceTransformer

text_encoder = SentenceTransformer("richinfoai/ritrieve_zh_v1")
texts = [
    "什麼是人工智能",
    "介紹一下主流的LLM",
    "人工智能（AI）是模擬人類智能的計算機系統，能夠執行學習、推理和決策等任務。它通過算法和大數據實現自動化，廣泛應用於各行各業。"
]
vectors = text_encoder.encode(texts, normalize_embeddings=True)
print(vectors @ vectors.T)
# [[0.9999999  0.67707014 0.91421044]
#  [0.67707014 0.9999998  0.6353945 ]
#  [0.91421044 0.6353945  1.0000001 ]]

✨ 主要特性

• 基於蒸餾學習，從多個優秀模型中進行訓練，在 MTEB(cmn, v1) 上取得了出色的效果。
• 無需指令，可直接在 SentenceTransformer 中使用。

📦 安裝指南

暫未提供安裝步驟相關內容。

📚 詳細文檔

模型介紹

本模型由 richinfoai 訓練。參考 Stella and Jasper models，我們從 lier007/xiaobu-embedding-v2、dunzhang/stella-large-zh-v3-1792d 和 BAAI/bge-multilingual-gemma2 進行蒸餾訓練。由於這些模型的出色表現，我們的模型在 MTEB(cmn, v1) 上取得了優異的結果。

我們相信該模型再次證明了蒸餾學習的有效性。未來，我們將基於各種優秀的向量訓練方法，訓練更多的雙語向量模型。

訓練方法

階段一

我們使用 BAAI/Infinity-Instruct 和 opencsg/chinese-fineweb-edu 作為訓練數據，從上述三個模型進行蒸餾訓練。在這個階段，我們僅使用餘弦損失。

階段二

階段二的目標是降維。我們使用與階段一相同的訓練數據，並使用 similarity loss。階段二之後，模型的維度為 1792。

🔧 技術細節

本模型的訓練基於蒸餾學習，從多個優秀的預訓練模型中進行知識遷移。通過兩個階段的訓練，逐步優化模型的性能和維度。

📄 許可證

本模型使用 MIT 許可證。

📋 模型信息