German Zeroshot

🚀 ドイツ語ゼロショットモデル

このモデルは、ドイツ語のゼロショット分類に特化したモデルです。deepset/gbert-large を facebook/xnli のドイツ語データセットでファインチューニングしています。評価セットでは、損失0.4592、精度0.8486を達成しています。

🚀 クイックスタート

このモデルは、ゼロショット分類タスクに使用できます。以下のコード例を参考に、簡単に使い始めることができます。

💻 使用例

基本的な使用法

# Use a pipeline as a high-level helper

pipe = pipeline(
    "zero-shot-classification",
    model="kaixkhazaki/german-zeroshot",
    tokenizer="kaixkhazaki/german-zeroshot",
    device=0 if torch.cuda.is_available() else -1  # Use GPU if available
)

#Enter your text and possible candidates of classification
sequence = "Können Sie mir die Schritte zur Konfiguration eines VPN auf einem Linux-Server erklären?"
candidate_labels = [
    "Technische Dokumentation", 
    "IT-Support", 
    "Netzwerkadministration", 
    "Linux-Konfiguration", 
    "VPN-Setup"
]
pipe(sequence,candidate_labels)
>>
{'sequence': 'Können Sie mir die Schritte zur Konfiguration eines VPN auf einem Linux-Server erklären?',
'labels': ['VPN-Setup', 'Linux-Konfiguration', 'Netzwerkadministration', 'IT-Support', 'Technische Dokumentation'],
'scores': [0.53142249584198, 0.26030370593070984, 0.09126164764165878, 0.06451434642076492, 0.052497804164886475]}


#example 2
sequence = "Wie lautet die Garantiezeit für dieses Produkt?"
candidate_labels = [
    "Garantiebedingungen", 
    "Kundendienst", 
    "Produktdetails", 
    "Reklamation", 
    "Kaufberatung"
]
pipe(sequence,candidate_labels)
>>
{'sequence': 'Wie lautet die Garantiezeit für dieses Produkt?',
'labels': ['Garantiebedingungen', 'Kundendienst', 'Produktdetails', 'Reklamation', 'Kaufberatung'],
'scores': [0.414899080991745, 0.2377401739358902, 0.1381743848323822, 0.12171833217144012, 0.08746808022260666]}

📚 ドキュメント

モデルの説明

このモデルは、deepset/gbert-large を facebook/xnli のドイツ語データセットでファインチューニングしたものです。ゼロショット分類タスクに特化しています。

想定される用途と制限事項

このモデルは、ドイツ語のテキストをゼロショット分類するために設計されています。ただし、特定のドメインや文脈においては、性能が低下する可能性があります。

学習と評価データ

このモデルは、facebook/xnli のドイツ語データセットを使用して学習されました。

学習手順

学習ハイパーパラメータ

学習時には、以下のハイパーパラメータが使用されました。

• learning_rate: 5e-05
• train_batch_size: 64
• eval_batch_size: 32
• seed: 42
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• lr_scheduler_warmup_steps: 500
• num_epochs: 3

学習結果

フレームワークのバージョン

• Transformers 4.48.0.dev0
• Pytorch 2.4.1+cu121
• Datasets 3.1.0
• Tokenizers 0.21.0

📄 ライセンス

このモデルは、MITライセンスの下で公開されています。