Dist Mpnet Paracrawl Cs En

🚀 多語言蒸餾模型Dist - MPNet - Paracrawl

Dist - MPNet - Paracrawl是一個基於BERT的小型模型，它從sentence - transformers/all - mpnet - base - v2模型進行蒸餾而來，並使用平行的捷克語 - 英語數據集ParaCrawl進行訓練。該模型由Seznam.cz創建，是構建高質量小型捷克語語義嵌入模型項目的一部分。這些模型在各種自然語言處理任務中表現出色，包括相似度搜索、檢索、聚類和分類。如需更多詳細信息或評估結果，請訪問相關論文或GitHub倉庫。

🚀 快速開始

✨ 主要特性

• 基於BERT架構進行蒸餾，模型規模小。
• 使用平行的捷克語 - 英語數據集訓練，適用於多語言任務。
• 在多種自然語言處理任務中表現良好。

📦 安裝指南

文檔未提及具體安裝步驟，暫不提供。

💻 使用示例

基礎用法

import torch
from transformers import AutoModel, AutoTokenizer

model_name = "Seznam/retromae-small-cs"  # Hugging Face link
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

input_texts = [
    "Dnes je výborné počasí na procházku po parku.",
    "Večer si oblíbím dobrý film a uvařím si čaj."
]

# Tokenize the input texts
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = outputs.last_hidden_state[:, 0]  # Extract CLS token embeddings

similarity = torch.nn.functional.cosine_similarity(embeddings[0], embeddings[1], dim=0)

📚 詳細文檔

如需更多詳細信息或評估結果，請訪問相關論文或GitHub倉庫。

📄 許可證

本模型採用CC - BY - 4.0許可證。