USER2 Small

🚀 USER2-small

USER2 是新一代的俄語通用句子編碼器（Universal Sentence Encoder for Russian），專為句子表示而設計，支持長達 8192 個標記的長上下文。

這些模型基於 RuModernBERT 編碼器構建，並針對檢索和語義任務進行了微調。它們還支持 Matryoshka 表示學習（MRL） 技術，該技術能夠在表示質量損失最小的情況下減小嵌入維度。

這是一個小型模型，擁有 3400 萬個參數。

🚀 快速開始

USER2-small 模型專為俄語句子表示而設計，支持長上下文，且具備 Matryoshka 表示學習（MRL）能力。以下將從模型性能、使用方法、訓練細節等方面詳細介紹該模型。

✨ 主要特性

• 長上下文支持：能夠處理長達 8192 個標記的長上下文。
• Matryoshka 表示學習（MRL）：支持 MRL 技術，可在表示質量損失最小的情況下減小嵌入維度。
• 多任務微調：基於 RuModernBERT 編碼器構建，並針對檢索和語義任務進行了微調。

📚 詳細文檔

模型信息

模型對比

性能評估

MTEB-rus 基準測試

MultiLongDocRetrieval (MLDR) 俄語子集任務

Matryoshka 評估

為了評估 MRL 能力，我們還使用了 MTEB-rus，對嵌入進行維度裁剪以匹配所選大小。

💻 使用示例

基礎用法

前綴使用

該模型的訓練方式與 Nomic Embed 類似，需要在輸入中添加特定任務的前綴。前綴的選擇取決於具體任務，以下是一些通用準則：

• "classification: " 是默認且最通用的前綴，通常在各種任務中表現良好。
• "clustering: " 推薦用於聚類應用，如將文本分組到簇中、發現共享主題或去除語義重複項。
• "search_query: " 和 "search_document: " 用於檢索和重排序任務。此外，在一些分類任務中，特別是對於較短的文本，"search_query" 的性能優於其他前綴。而 "search_document" 對於長上下文句子相似度任務可能有益。

不過，我們鼓勵用戶嘗試不同的前綴，因為某些領域可能會從特定前綴中受益。

Sentence Transformers 庫使用

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("deepvk/USER2-small")

query_embeddings = model.encode(["Когда был спущен на воду первый миноносец «Спокойный»?"], prompt_name="search_query")
document_embeddings = model.encode(["Спокойный (эсминец)\nЗачислен в списки ВМФ СССР 19 августа 1952 года."], prompt_name="search_document")

similarities = model.similarity(query_embeddings, document_embeddings)

若要截斷嵌入維度，只需在模型初始化時傳遞新的值：

model = SentenceTransformer("deepvk/USER2-small", truncate_dim=128)

該模型在 [32, 64, 128, 256, 384] 維度上進行訓練，因此建議使用這些值以獲得最佳性能。

Transformers 庫使用

import torch
import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModel


def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0]
    input_mask_expanded = (
        attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    )
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(
        input_mask_expanded.sum(1), min=1e-9
    )


queries = ["search_query: Когда был спущен на воду первый миноносец «Спокойный»?"]
documents = ["search_document: Спокойный (эсминец)\nЗачислен в списки ВМФ СССР 19 августа 1952 года."]

tokenizer = AutoTokenizer.from_pretrained("deepvk/USER2-small")
model = AutoModel.from_pretrained("deepvk/USER2-small")

encoded_queries = tokenizer(queries, padding=True, truncation=True, return_tensors="pt")
encoded_documents = tokenizer(documents, padding=True, truncation=True, return_tensors="pt")

with torch.no_grad():
    queries_outputs = model(**encoded_queries)
    documents_outputs = model(**encoded_documents)

query_embeddings = mean_pooling(queries_outputs, encoded_queries["attention_mask"])
query_embeddings = F.normalize(query_embeddings, p=2, dim=1)
doc_embeddings = mean_pooling(documents_outputs, encoded_documents["attention_mask"])
doc_embeddings = F.normalize(doc_embeddings, p=2, dim=1)

similarities = query_embeddings @ doc_embeddings.T

若要截斷嵌入維度，選擇前幾個值：

query_embeddings = mean_pooling(queries_outputs, encoded_queries["attention_mask"])
query_embeddings = query_embeddings[:, :truncate_dim]
query_embeddings = F.normalize(query_embeddings, p=2, dim=1)

🔧 技術細節

訓練過程

該模型是基於 RuModernBERT-small 的小型版本，擁有 3400 萬個參數。它經過三個階段的微調：RetroMAE、弱監督微調（Weakly Supervised Fine-Tuning）和監督微調（Supervised Fine-Tuning）。

遵循 bge-m3 訓練策略，我們將 RetroMAE 作為面向檢索的連續預訓練步驟。利用 RuModernBERT 訓練最後階段的數據，RetroMAE 提高了檢索質量，特別是對於長上下文輸入。

為了遵循構建最先進編碼器的最佳實踐，我們依賴於大規模的弱相關文本對訓練。然而，與英語或中文不同，俄語的此類數據集並未公開。為了克服這一問題，我們採用了兩種互補策略：

• 跨語言遷移：我們同時在英語和俄語數據上進行訓練，利用英語資源 (nomic-unsupervised) 以及我們內部的英俄平行語料庫。
• 無監督對挖掘：從 deepvk/cultura_ru_edu 語料庫中，我們使用簡單的啟發式方法提取了 5000 萬對文本，即選擇不重疊且不是彼此子字符串的文本塊。

這種方法顯示出了有希望的結果，使我們能夠使用最少的目標語言對訓練出高性能的模型，特別是與其他語言的管道相比。

以下表格顯示了使用的數據集以及每個數據集的上採樣次數。

在第三階段，我們切換到更乾淨、特定任務的數據集。在某些情況下，使用交叉編碼器進行了額外的過濾。對於所有檢索數據集，我們挖掘了難負樣本。

消融實驗

除了最終模型，我們還發布了所有中間訓練步驟。retromae 和 weakly_sft 模型可在本倉庫的指定版本中找到。我們希望這些額外的模型對您的實驗有用。

以下是所有訓練階段在 MTEB-rus 子集上的比較。

📄 許可證

本項目採用 apache-2.0 許可證。

📖 引用

@misc{deepvk2025user,
    title={USER2},
    author={Malashenko, Boris and Spirin, Egor and Sokolov Andrey},
    url={https://huggingface.co/deepvk/USER2-small},
    publisher={Hugging Face},
    year={2025},
}