Mtsufall2024softwareengineering

🚀 MTSUFall2024SoftwareEngineering

このモデルは、米国の上院と下院の法案を要約するために微調整されたGoogle T5-Smallモデルです。Google T5-Smallモデルを基に、特定のデータセットで微調整することで、法案の要約タスクに特化した性能を発揮します。

🚀 クイックスタート

このモデルは、google-t5/t5-small の微調整バージョンで、評価セットで以下の結果を達成しています。

• 損失: 1.7579
• Rouge1: 0.268
• Rouge2: 0.2083
• Rougel: 0.258
• Rougelsum: 0.2582
• 生成長: 18.9805

✨ 主な機能

• 米国の連邦立法の要約を行うことができます。

📦 インストール

原文書にインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

原文書にコード例が記載されていないため、このセクションをスキップします。

📚 ドキュメント

モデルの説明

このモデルは、米国の上院と下院の法案を要約するために微調整されたGoogle T5-Smallモデルです。

想定される用途と制限

米国の連邦立法の要約に使用されます。

学習と評価データ

約51.9kの法案と要約データで学習されています。

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• 学習率: 2e-05
• 学習バッチサイズ: 14
• 評価バッチサイズ: 14
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: 線形
• エポック数: 4
• 混合精度学習: Native AMP

学習結果

フレームワークのバージョン

• Transformers 4.44.2
• Pytorch 2.4.1+cu121
• Datasets 3.0.1
• Tokenizers 0.19.1

🔧 技術詳細

原文書に技術詳細に関する具体的な説明が十分に記載されていないため、このセクションをスキップします。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。