Amazon MultiLingual Review Summarization With Google Mt5 Small

🚀 Amazon_MultiLingual_Review_Summarization_with_google_mT5_small

このモデルは、google/mt5-small を多言語のAmazonレビューデータセットでファインチューニングしたバージョンです。 評価セットでは以下の結果を達成しています。

• 損失: 2.9368
• モデル準備時間: 0.0038
• Rouge1: 16.1955
• Rouge2: 8.1292
• Rougel: 15.9218
• Rougelsum: 15.9516

✨ 主な機能

モデルの説明

google/mt5-small

想定される用途と制限

多言語の商品レビュー要約。サポートされる言語: 英語とドイツ語

📦 インストール

このドキュメントにはインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

このドキュメントにはコード例が記載されていないため、このセクションをスキップします。

📚 ドキュメント

学習と評価データ

HuggingFace上で利用可能な元の多言語Amazon商品レビューデータセットは利用できなくなりました。 そのため、Kaggle で利用可能なバージョンを使用します。 元のデータセットは6つの言語をサポートしています: 英語、ドイツ語、フランス語、スペイン語、日本語、およびチャモロ語。 各言語には20,000個の学習サンプル、5,000個の検証サンプル、および5,000個のテストサンプルがあります。 このデータセットを srvmishra832/multilingual-amazon-reviews-6-languages でHuggingFaceハブにアップロードしました。 ここでは、pc と electronics の商品カテゴリの英語とドイツ語のレビューのみを選択しています。 レビューのタイトルを要約として使用し、モデルが非常に短い要約を生成しないように、極端に短いレビュータイトルの例をフィルタリングしています。 最後に、結果のデータセットをダウンサンプリングして、Google ColabのT4 GPUで合理的な時間で学習できるようにしています。 最終的なダウンサンプリングされ連結されたデータセットには、8,000個の学習サンプル、452個の検証サンプル、および422個のテストサンプルが含まれています。

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• 学習率: 5.6e-05
• 学習バッチサイズ: 16
• 評価バッチサイズ: 16
• シード: 42
• オプティマイザ: betas=(0.9,0.999) および epsilon=1e-08 の OptimizerNames.ADAMW_TORCH を使用。追加のオプティマイザ引数はありません
• 学習率スケジューラのタイプ: 線形
• エポック数: 10

学習結果

フレームワークのバージョン

• Transformers 4.50.0
• Pytorch 2.6.0+cu124
• Datasets 3.4.1
• Tokenizers 0.21.1

📄 ライセンス

Apache-2.0ライセンスの下で提供されています。