Slovak T5 Base

🚀 スロバキア語T5 Base

単言語のスロバキア語モデルで、ウェブデータを使ってゼロから学習されました。

このモデルは特定のタスクに対してファインチューニングする必要があり、現時点では命令や接頭辞をサポートしていません。

ファインチューニング後は、以下のようなタスクに適しています。

• 質問応答
• 要約
• 合成データの生成

🚀 クイックスタート

このモデルは特定のタスクに対してファインチューニングする必要があります。ファインチューニング後は、質問応答、要約、合成データの生成などのタスクに使用できます。

✨ 主な機能

• 単言語のスロバキア語モデルで、ウェブデータを使ってゼロから学習されました。
• ファインチューニング後は、質問応答、要約、合成データの生成などのタスクに適しています。

📦 インストール

原READMEにインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

原READMEにコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

学習データ

mc4データセットのスロバキア語サブセットを、NanoT5を使ってデフォルト設定で学習しました。

重複排除後の学習コーパスは合計140億トークンです。

以下のスロバキア語データで構成されています。

• mc4
• Oscar
• Wikipedia
• 新聞記事のカスタムコレクション
• ウェブページのカスタムコレクション
• 欧州議会会議録のスロバキア語部分

ハイパーパラメータ

• 入力長: 512トークン
• 有効バッチサイズ: 128
• ステップ数: 200000
• オプティマイザ: Adafactor
• スケジューラ: Legacy
• 学習率: 0.2
• 勾配クリップ: 1

評価

SK-QUADで質問応答のためにファインチューニングした後の結果は以下の通りです。

• Slovak T5 Base : 71.31 F1
• Umt5 Base: 69.22 F1
• Mt5 Base 65.29 F1
• Mt0 Base 65.17 F1

バイアス

このモデルはそのまま公開されています。データのクリーニングには特別な試みは行っていません。

🔧 技術詳細

原READMEに十分な技術詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

科学的および商用利用には、cc-by-sa-4.0の条件の下で無料です。

クレジット

• Daniel Hládek @ KEMT FIE TUKE