Multilingual E5 Large Instruct Xnli

🚀 多語言e5大模型指令微調XNLI

本模型是基於XNLI數據集對 intfloat/multilingual-e5-large-instruct 模型進行微調後的版本，可用於多語言的零樣本分類任務。

🚀 快速開始

本模型支持多語言，包括英語（en）、阿拉伯語（ar）、保加利亞語（bg）、德語（de）、希臘語（el）、西班牙語（es）、法語（fr）、印地語（hi）、俄語（ru）、斯瓦希里語（sw）、泰語（th）、土耳其語（tr）、烏爾都語（ur）、越南語（vi）和中文（zh）。

✨ 主要特性

• 多語言支持：支持15種語言，可廣泛應用於不同語言環境。
• 零樣本分類：無需大量標註數據，即可對新的類別進行分類。
• 微調優化：基於XNLI數據集進行微調，提高了模型在自然語言推理任務上的性能。

📦 安裝指南

本模型使用了以下Python庫，你可以使用pip進行安裝：

pip install transformers datasets torch tokenizers

💻 使用示例

基礎用法

使用zero-shot-classification管道加載模型：

from transformers import pipeline
classifier = pipeline("zero-shot-classification",
                      model="mjwong/multilingual-e5-large-instruct-xnli")

使用該管道對序列進行分類：

sequence_to_classify = "Angela Merkel ist eine Politikerin in Deutschland und Vorsitzende der CDU"
candidate_labels = ["politics", "economy", "entertainment", "environment"]
classifier(sequence_to_classify, candidate_labels)

如果有多個候選標籤都可能正確，可以設置multi_class=True獨立計算每個類別的概率：

candidate_labels = ["politics", "economy", "entertainment", "environment"]
classifier(sequence_to_classify, candidate_labels, multi_label=True)

高級用法

手動使用PyTorch在自然語言推理（NLI）任務上應用模型：

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

# device = "cuda:0" or "cpu"
device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")

model_name = "mjwong/multilingual-e5-large-instruct-xnli"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

premise = "But I thought you'd sworn off coffee."
hypothesis = "I thought that you vowed to drink more coffee."

input = tokenizer(premise, hypothesis, truncation=True, return_tensors="pt")
output = model(input["input_ids"].to(device))
prediction = torch.softmax(output["logits"][0], -1).tolist()
label_names = ["entailment", "neutral", "contradiction"]
prediction = {name: round(float(pred) * 100, 2) for pred, name in zip(prediction, label_names)}
print(prediction)

📚 詳細文檔

評估結果

模型在XNLI測試集的15種語言上進行了評估，使用的指標是準確率：

模型還在MultiNLI開發集和ANLI測試集上進行了評估，使用的指標同樣是準確率：

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：2e-05
• 訓練批次大小（train_batch_size）：16
• 評估批次大小（eval_batch_size）：16
• 隨機種子（seed）：42
• 優化器（optimizer）：Adam，β1=0.9，β2=0.999，ε=1e-08
• 學習率調度器類型（lr_scheduler_type）：線性
• 學習率調度器預熱比例（lr_scheduler_warmup_ratio）：0.1
• 訓練輪數（num_epochs）：1

框架版本

• Transformers 4.28.1
• Pytorch 1.12.1+cu116
• Datasets 2.19.2
• Tokenizers 0.12.1

🔧 技術細節

本模型基於論文 Text Embeddings by Weakly-Supervised Contrastive Pre-training 提出的方法進行訓練，作者為Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder, Furu Wei，發表於arXiv 2022。

📄 許可證

本模型使用的是MIT許可證。