Dist Mpnet Paracrawl Cs En

🚀 多言語蒸留モデル

Dist-MPNet-Paracrawlは、sentence-transformers/all-mpnet-base-v2モデルから蒸留されたBERT-smallモデルです。訓練には、並列のチェコ語-英語データセットParaCrawlを使用しています。

このモデルは、Seznam.czにおいて、高品質な小型チェコ語意味埋め込みモデルを作成するプロジェクトの一環として作成されました。これらのモデルは、類似性検索、検索、クラスタリング、分類など、様々な自然言語処理タスクで良好な性能を発揮します。詳細や評価結果については、関連する論文またはGitHubリポジトリをご覧ください。

🚀 クイックスタート

このモデルは、高品質な小型チェコ語意味埋め込みモデルを目指して開発され、様々な自然言語処理タスクでの利用が可能です。

✨ 主な機能

• 多言語対応の小型モデルで、自然言語処理タスクでの性能が良好。
• 類似性検索、検索、クラスタリング、分類などのタスクに適用可能。

💻 使用例

基本的な使用法

import torch
from transformers import AutoModel, AutoTokenizer

model_name = "Seznam/retromae-small-cs"  # Hugging Face link
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

input_texts = [
    "Dnes je výborné počasí na procházku po parku.",
    "Večer si oblíbím dobrý film a uvařím si čaj."
]

# Tokenize the input texts
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = outputs.last_hidden_state[:, 0]  # Extract CLS token embeddings

similarity = torch.nn.functional.cosine_similarity(embeddings[0], embeddings[1], dim=0)

📄 ライセンス

このモデルは、CC BY 4.0ライセンスの下で提供されています。