Retromae Small Cs

🚀 RetroMAE

RetroMAE-Small是一個基於BERT-small架構的模型，它在捷克語網絡語料庫上以RetroMAE為目標進行了預訓練。該模型由Seznam.cz創建，是構建高質量小型捷克語語義嵌入模型項目的一部分。這些模型在各類自然語言處理任務中表現出色，涵蓋相似性搜索、檢索、聚類和分類等。如需瞭解更多詳情或評估結果，請訪問相關論文或GitHub倉庫。

🚀 快速開始

模型加載與使用

你可以按照以下方式加載和使用該模型：

import torch
from transformers import AutoModel, AutoTokenizer

model_name = "Seznam/retromae-small-cs"  # Hugging Face鏈接
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

input_texts = [
    "Dnes je výborné počasí na procházku po parku.",
    "Večer si oblíbím dobrý film a uvařím si čaj."
]

# 對輸入文本進行分詞
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = outputs.last_hidden_state[:, 0]  # 提取CLS標記嵌入

similarity = torch.nn.functional.cosine_similarity(embeddings[0], embeddings[1], dim=0)

📄 許可證

本項目採用CC BY 4.0許可證。