Amazon Reviews Sentiment Distilbert Base Uncased

🚀 Amazon-Beauty-Product-Reviews-distilBERT-base for Sentiment Analysis

このモデルは、Amazonの美容製品レビューに対する感情分析に特化したものです。DistilBERTモデルをベースに、Amazonの美容レビューデータセットで微調整されており、高い精度で感情分析を行うことができます。

🚀 クイックスタート

このセクションでは、モデルの概要や基本的な使い方を説明します。

✨ 主な機能

• Amazonの美容製品レビューに対する感情分析が可能です。
• 評価セットでは、Loss: 0.5171、Accuracy: 0.7862、Precision: 0.7876、Recall: 0.7860、F1: 0.7867 という結果を達成しています。

📚 ドキュメント

🔍 モデル詳細

モデル説明

このモデルは、distilbert-base-uncased を Amazon beauty reviews dataset のバランスされたサブセットで微調整したものです。

評価セットでは、以下の結果を達成しています。

• Loss: 0.5171
• Accuracy: 0.7862
• Precision: 0.7876
• Recall: 0.7860
• F1: 0.7867

開発者情報

• 開発者: Jiali Han
• モデルタイプ: テキスト分類
• 言語: 英語
• ライセンス: Apache-2.0
• 親モデル: DistilBERTの詳細については、このモデルカード をご覧ください。
• 詳細情報のリソース:
  • モデルドキュメント
  • DistilBERT論文

💡 使用方法

直接的なアプリケーション

このモデルは、Amazonの美容製品レビューの感情分析に使用できます。

誤用と範囲外の使用

このモデルは、意図的に人々に敵対的または疎外感を与える環境を作るために使用してはなりません。また、このモデルは人やイベントの事実や真実を表現するように訓練されていないため、そのような内容を生成するためにモデルを使用することは、このモデルの能力範囲外です。

⚠️ リスク、制限事項、バイアス

このモデルは、偏った予測を生成する可能性があり、特に代表されていないグループに影響を与える可能性があります。

ユーザーは、特定のユースケースに対するモデルのリスクを評価する必要があります。

さらなるバイアス評価には、以下のデータセットを考慮してください。

• WinoBias
• WinoGender
• Stereoset

📊 訓練と評価

訓練データ

著者は、Amazon beauty reviews dataset を使用しており、クラス不均衡の問題を解決するためにバランスが取られています。

訓練手順

訓練ハイパーパラメータ

訓練中に以下のハイパーパラメータが使用されました。

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 0
• optimizer: OptimizerNames.ADAMW_TORCH を使用し、betas=(0.9,0.999)、epsilon=1e-08、optimizer_args=追加のオプティマイザ引数なし
• lr_scheduler_type: linear
• num_epochs: 1

訓練結果

詳細な訓練ログについては、Tensorboard ページを参照してください。

評価結果

微調整されたDistilBERTモデルは、以下の分割でデータセット上で評価されました。

• 訓練サンプル: 133,665
• 検証サンプル: 33,417

評価は3クラスの感情分類タスクで行われました。以下は詳細な結果です。

分類レポート

混同行列

フレームワークバージョン

• Transformers 4.50.3
• Pytorch 2.6.0+cu124
• Tokenizers 0.21.1

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。