German Zeroshot

🚀 德語零樣本分類模型

本模型是一個零樣本分類模型，基於 deepset/gbert-large 在 facebook/xnli 德語數據集上微調而來，可用於德語的零樣本分類任務，在評估集上有較好的表現。

🚀 快速開始

本模型是 deepset/gbert-large 在 facebook/xnli 德語數據集上的微調版本。它在評估集上取得了以下結果：

• 損失值：0.4592
• 準確率：0.8486

💻 使用示例

基礎用法

# Use a pipeline as a high-level helper
import torch
from transformers import pipeline

pipe = pipeline(
    "zero-shot-classification",
    model="kaixkhazaki/german-zeroshot",
    tokenizer="kaixkhazaki/german-zeroshot",
    device=0 if torch.cuda.is_available() else -1  # Use GPU if available
)

#Enter your text and possible candidates of classification
sequence = "Können Sie mir die Schritte zur Konfiguration eines VPN auf einem Linux-Server erklären?"
candidate_labels = [
    "Technische Dokumentation", 
    "IT-Support", 
    "Netzwerkadministration", 
    "Linux-Konfiguration", 
    "VPN-Setup"
]
pipe(sequence,candidate_labels)
>>
{'sequence': 'Können Sie mir die Schritte zur Konfiguration eines VPN auf einem Linux-Server erklären?',
'labels': ['VPN-Setup', 'Linux-Konfiguration', 'Netzwerkadministration', 'IT-Support', 'Technische Dokumentation'],
'scores': [0.53142249584198, 0.26030370593070984, 0.09126164764165878, 0.06451434642076492, 0.052497804164886475]}


#example 2
sequence = "Wie lautet die Garantiezeit für dieses Produkt?"
candidate_labels = [
    "Garantiebedingungen", 
    "Kundendienst", 
    "Produktdetails", 
    "Reklamation", 
    "Kaufberatung"
]
pipe(sequence,candidate_labels)
>>
{'sequence': 'Wie lautet die Garantiezeit für dieses Produkt?',
'labels': ['Garantiebedingungen', 'Kundendienst', 'Produktdetails', 'Reklamation', 'Kaufberatung'],
'scores': [0.414899080991745, 0.2377401739358902, 0.1381743848323822, 0.12171833217144012, 0.08746808022260666]}

🔧 技術細節

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：5e-05
• 訓練批次大小：64
• 評估批次大小：32
• 隨機種子：42
• 優化器：使用 adamw_torch，betas=(0.9, 0.999)，epsilon=1e-08，無額外優化器參數
• 學習率調度器類型：餘弦
• 學習率調度器熱身步數：500
• 訓練輪數：3

訓練結果

框架版本

• Transformers 4.48.0.dev0
• Pytorch 2.4.1+cu121
• Datasets 3.1.0
• Tokenizers 0.21.0

📄 許可證

本模型採用 MIT 許可證。