Dist Mpnet Czeng Cs En

🚀 多語言蒸餾模型Dist - MPNet - Paracrawl

Dist - MPNet - Paracrawl是一個輕量級的BERT模型，它從sentence - transformers/all - mpnet - base - v2模型中進行知識蒸餾而來，並使用平行的捷克語 - 英語數據集CzEng進行訓練。該模型由Seznam.cz創建，是打造高質量小型捷克語語義嵌入模型項目的一部分。這些模型在各類自然語言處理任務中表現出色，涵蓋相似性搜索、檢索、聚類和分類等。若需瞭解更多詳情或評估結果，請訪問相關論文或GitHub倉庫。

🚀 快速開始

本模型可用於多種自然語言處理任務，如相似性搜索、檢索、聚類和分類等。

✨ 主要特性

• 基於知識蒸餾技術，從大型模型中提煉知識，形成輕量級的BERT模型。
• 使用平行的捷克語 - 英語數據集進行訓練，在多語言任務上表現良好。
• 適用於多種自然語言處理任務，具有廣泛的應用場景。

💻 使用示例

基礎用法

import torch
from transformers import AutoModel, AutoTokenizer

model_name = "Seznam/retromae-small-cs"  # Hugging Face link
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

input_texts = [
    "Dnes je výborné počasí na procházku po parku.",
    "Večer si oblíbím dobrý film a uvařím si čaj."
]

# Tokenize the input texts
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = outputs.last_hidden_state[:, 0]  # Extract CLS token embeddings

similarity = torch.nn.functional.cosine_similarity(embeddings[0], embeddings[1], dim=0)

📄 許可證

本項目採用CC - BY - NC - SA 4.0許可證。