Amazon Review Sentiment Analysis

🚀 distilbert-base-uncased-finetuned-mnli-amazon-query-shopping

本模型是基於Amazon US Customer Reviews Dataset，對nlptown/bert-base-multilingual-uncased-sentiment進行微調後的版本。微調過程的代碼可在此處找到。該模型不區分大小寫，即對 "english" 和 "English" 視為相同。在評估集上，該模型取得了以下結果：

• 損失值：0.5202942490577698
• 準確率：0.8

✨ 主要特性

此模型是一個經過微調的bert-base-multilingual-uncased模型，用於對六種語言（英語、荷蘭語、德語、法語、西班牙語和意大利語）的產品評論進行情感分析。它會以星級（1 - 5星）的形式預測評論的情感傾向。該模型可直接用於對上述六種語言的產品評論進行情感分析，也可用於在相關情感分析任務上進行進一步微調。

📚 詳細文檔

模型描述

我們將其頭部替換為客戶評論數據，在17,280行的訓練集上進行微調，並在4,320行的開發集上進行驗證。最後，在2,400行的預留測試集上評估模型性能。

預期用途與侷限性

Bert-base主要用於在使用整個句子（可能經過掩碼處理）來做決策的任務上進行微調，例如序列分類、標記分類或問答任務。這個微調後的BERT-base版本用於根據評論內容預測評論的星級評分。不過，該訓練模型主要聚焦於亞馬遜上的評論和產品。如果將此模型應用於其他領域，其性能可能不佳。

使用方法

你可以通過下載訓練好的權重和配置，直接使用該模型，示例代碼如下：

from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("LiYuan/amazon-review-sentiment-analysis")

model = AutoModelForSequenceClassification.from_pretrained("LiYuan/amazon-review-sentiment-analysis")

訓練和評估數據

可從Kaggle網站下載所有原始數據集。

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：2e-05
• 訓練批次大小：16
• 評估批次大小：16
• 隨機種子：42
• 優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 學習率調度器類型：線性
• 訓練輪數：2

訓練結果

框架版本

• Transformers 4.18.0
• Pytorch 1.11.0+cu113
• Datasets 2.1.0
• Tokenizers 0.12.1

📄 許可證

本項目採用Apache-2.0許可證。