Simcse Retromae Small Cs

🚀 SimCSE

SimCSE-RetroMAE-Small 是基於 Seznam/retromae-small-cs 模型，使用 SimCSE 目標進行微調得到的。

該模型由 Seznam.cz 創建，是創建高質量小型捷克語語義嵌入模型項目的一部分。這些模型在各種自然語言處理任務中表現出色，包括相似度搜索、檢索、聚類和分類。如需更多詳細信息或評估結果，請訪問相關 論文 或 GitHub 倉庫。

🚀 快速開始

模型簡介

SimCSE-RetroMAE-Small 模型是在 Seznam/retromae-small-cs 模型基礎上，通過 SimCSE 目標微調而來。它是 Seznam.cz 為創建高質量小型捷克語語義嵌入模型項目的成果，在自然語言處理的多個任務中表現良好。

使用示例

基礎用法

import torch
from transformers import AutoModel, AutoTokenizer

model_name = "Seznam/retromae-small-cs"  # Hugging Face link
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

input_texts = [
    "Dnes je výborné počasí na procházku po parku.",
    "Večer si oblíbím dobrý film a uvařím si čaj."
]

# Tokenize the input texts
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = outputs.last_hidden_state[:, 0]  # Extract CLS token embeddings

similarity = torch.nn.functional.cosine_similarity(embeddings[0], embeddings[1], dim=0)

📄 許可證

本項目採用 CC BY 4.0 許可證。