Multilingual E5 Small Aligned Sentiment

🚀 多语言e5小模型对齐情感分析模型

本模型是 agentlans/multilingual-e5-small-aligned 的微调版本，旨在评估多种语言文本的情感倾向。

✨ 主要特性

• 支持多语言
• 可对文本进行情感评估
• 基于E5小模型架构

📚 详细文档

预期用途与限制

本模型适用于：

• 评估多语言文本的情感倾向
• 过滤多语言内容
• 跨不同语言对语料库文本情感进行比较分析

限制：

• 对于训练数据中未充分体现的语言，模型性能可能会有所差异
• 不应将其作为情感评估的唯一标准

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_name = "agentlans/multilingual-e5-small-aligned-sentiment"

# Initialize tokenizer and model
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = model.to(device)

def sentiment(text):
    """Assess the sentiment of the input text."""
    inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True).to(device)
    with torch.no_grad():
        logits = model(**inputs).logits.squeeze().cpu()
    return logits.tolist()

# Example usage
score = sentiment("Your text here.")
print(f"Sentiment score: {score}")

📊 性能结果

该模型在一组多样化的多语言文本样本上进行了评估：

• 10个不同情感倾向的英文文本样本被翻译成阿拉伯语、中文、法语、俄语和西班牙语。
• 模型在不同语言中对同一文本的情感评估表现出一致性。

🔧 技术细节

训练数据

该模型在 多语言平行句子数据集 上进行训练，该数据集包括：

• 英语和其他多种语言的平行句子
• 使用LaBSE计算的语义相似度得分
• 额外的情感指标
• 数据来源：JW300、Europarl、TED演讲、OPUS - 100、Tatoeba、Global Voices和News Commentary

训练过程

训练超参数

训练期间使用了以下超参数：

• 学习率：5e - 05
• 训练批次大小：128
• 评估批次大小：8
• 随机种子：42
• 优化器：使用adamw_torch，β值为(0.9, 0.999)，ε值为1e - 08，无额外优化器参数
• 学习率调度器类型：线性
• 训练轮数：3.0

训练结果

框架版本

• Transformers 4.46.3
• Pytorch 2.5.1+cu124
• Datasets 3.1.0
• Tokenizers 0.20.3

📄 许可证

本项目采用MIT许可证。