language:

• ru
• en

pipeline_tag: sentence-similarity

tags:

• russian
• pretraining
• embeddings
• tiny
• feature-extraction
• sentence-similarity
• sentence-transformers
• transformers

datasets:

• IlyaGusev/gazeta
• zloelias/lenta-ru
• HuggingFaceFW/fineweb-2
• HuggingFaceFW/fineweb

license: mit

base_model: sergeyzh/rubert-mini-sts

rubert-mini-uncased

ロシア語と英語の文埋め込みを計算するためのモデルは、ai-forever/FRIDAの埋め込みを蒸留することで得られました（埋め込みサイズは1536、レイヤー数は24）。FRIDAの主要な使用モードであるCLSプーリングは、meanプーリングに置き換えられました。埋め込みの変更やフィルタリング、追加モデルの使用など、モデルの動作に他の変更は加えられていません。蒸留は可能な限り広範囲に行われ、ロシア語と英語の文の埋め込み、プレフィックスの動作が再現されています。

このモデルはuncasedタイプであり、テキスト処理時に大文字と小文字を区別しません（例えば「С Новым Годом!」と「С НОВЫМ ГОДОМ!」は同じトークンシーケンスでエンコードされ、同じ埋め込み値を持ちます）。モデルの埋め込みサイズは384、レイヤー数は7です。モデルのコンテキストサイズはFRIDAと同様に512トークンです。

プレフィックス

すべてのプレフィックスはFRIDAから継承されています。

使用されるプレフィックスとそれらがencodechkaのモデル評価に与える影響の一覧：

タスク:

• 意味的テキスト類似性 (STS)
• 言い換え識別 (PI)
• 自然言語推論 (NLI)
• 感情分析 (SA)
• 有害性識別 (TI)

メトリクス

ruMTEBベンチマークでのモデル評価：

transformersライブラリを使用したモデルの使用方法：

import torch
import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModel


def pool(hidden_state, mask, pooling_method="mean"):
    if pooling_method == "mean":
        s = torch.sum(hidden_state * mask.unsqueeze(-1).float(), dim=1)
        d = mask.sum(axis=1, keepdim=True).float()
        return s / d
    elif pooling_method == "cls":
        return hidden_state[:, 0]

inputs = [
    # 
    "paraphrase: ヤロスラヴリ州ではサウナの営業が許可されたが、客は受け入れ不可",
    "categorize_entailment: 女性が病院に搬送され、医師が現在彼女の命を救うために奮闘しています。",
    "search_query: 電球を交換するのに何人のプログラマーが必要ですか？",
    # 
    "paraphrase: ヤロスラヴリのサウナは客なしでの営業が許可された",
    "categorize_entailment: 女性を医師が救っています。",
    "search_document: 電球を交換するには3人のプログラマーが必要です：1人は電球を取り外すプログラムを書き、もう1人は電球を回すプログラムを書き、3人目がテストを行います。"
]

tokenizer = AutoTokenizer.from_pretrained("sergeyzh/rubert-mini-uncased")
model = AutoModel.from_pretrained("sergeyzh/rubert-mini-uncased")

tokenized_inputs = tokenizer(inputs, max_length=512, padding=True, truncation=True, return_tensors="pt")

with torch.no_grad():
    outputs = model(**tokenized_inputs)
    
embeddings = pool(
    outputs.last_hidden_state, 
    tokenized_inputs["attention_mask"],
    pooling_method="mean"
)

embeddings = F.normalize(embeddings, p=2, dim=1)
sim_scores = embeddings[:3] @ embeddings[3:].T
print(sim_scores.diag().tolist())
# [0.9366128444671631, 0.8030662536621094, 0.6826460957527161]
# [0.9360030293464661, 0.8591322302818298, 0.728583037853241] - FRIDA

sentence_transformersを使用する場合（sentence-transformers>=2.4.0）：

from sentence_transformers import SentenceTransformer

# meanプーリングでモデルをロード
model = SentenceTransformer("sergeyzh/rubert-mini-uncased")

paraphrase = model.encode(["ヤロスラヴリ州ではサウナの営業が許可されたが、客は受け入れ不可", "ヤロスラヴリのサウナは客なしでの営業が許可された"], prompt="paraphrase: ")
print(paraphrase[0] @ paraphrase[1].T) 

# 0.9366129
# 0.9360032 - FRIDA

categorize_entailment = model.encode(["女性が病院に搬送され、医師が現在彼女の命を救うために奮闘しています。", "女性を医師が救っています。"], prompt="categorize_entailment: ")
print(categorize_entailment[0] @ categorize_entailment[1].T) 
# 0.80306643
# 0.8591322 - FRIDA

query_embedding = model.encode("電球を交換するのに何人のプログラマーが必要ですか？", prompt="search_query: ")
document_embedding = model.encode("電球を交換するには3人のプログラマーが必要です：1人は電球を取り外すプログラムを書き、もう1人は電球を回すプログラムを書き、3人目がテストを行います。", prompt="search_document: ")
print(query_embedding @ document_embedding.T) 
# 0.68264616
# 0.7285831 - FRIDA