Multilingual E5 Small Aligned Sentiment

🚀 多語言e5小模型對齊情感分析模型

本模型是 agentlans/multilingual-e5-small-aligned 的微調版本，旨在評估多種語言文本的情感傾向。

✨ 主要特性

• 支持多語言
• 可對文本進行情感評估
• 基於E5小模型架構

📚 詳細文檔

預期用途與限制

本模型適用於：

• 評估多語言文本的情感傾向
• 過濾多語言內容
• 跨不同語言對語料庫文本情感進行比較分析

限制：

• 對於訓練數據中未充分體現的語言，模型性能可能會有所差異
• 不應將其作為情感評估的唯一標準

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_name = "agentlans/multilingual-e5-small-aligned-sentiment"

# Initialize tokenizer and model
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = model.to(device)

def sentiment(text):
    """Assess the sentiment of the input text."""
    inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True).to(device)
    with torch.no_grad():
        logits = model(**inputs).logits.squeeze().cpu()
    return logits.tolist()

# Example usage
score = sentiment("Your text here.")
print(f"Sentiment score: {score}")

📊 性能結果

該模型在一組多樣化的多語言文本樣本上進行了評估：

• 10個不同情感傾向的英文文本樣本被翻譯成阿拉伯語、中文、法語、俄語和西班牙語。
• 模型在不同語言中對同一文本的情感評估表現出一致性。

🔧 技術細節

訓練數據

該模型在 多語言平行句子數據集 上進行訓練，該數據集包括：

• 英語和其他多種語言的平行句子
• 使用LaBSE計算的語義相似度得分
• 額外的情感指標
• 數據來源：JW300、Europarl、TED演講、OPUS - 100、Tatoeba、Global Voices和News Commentary

訓練過程

訓練超參數

訓練期間使用了以下超參數：

• 學習率：5e - 05
• 訓練批次大小：128
• 評估批次大小：8
• 隨機種子：42
• 優化器：使用adamw_torch，β值為(0.9, 0.999)，ε值為1e - 08，無額外優化器參數
• 學習率調度器類型：線性
• 訓練輪數：3.0

訓練結果

框架版本

• Transformers 4.46.3
• Pytorch 2.5.1+cu124
• Datasets 3.1.0
• Tokenizers 0.20.3

📄 許可證

本項目採用MIT許可證。