Ru Rope T5 Small Instruct

🚀 ru-rope-t5-small-instruct

ロシア語の回転位置埋め込みT5モデルの小規模バージョンをインストラクションチューニングしたものです。

🚀 クイックスタート

このモデルは、下流タスクのファインチューニングに使用できます。

✨ 主な機能

• ロシア語コーパスと英語を混合して学習されたモデルです。
• 回転位置埋め込み（RoPE）を用いたT5モデルです。
• Flash Attention 2を使用した学習が可能です。

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデルの詳細

このモデルは、Mixture-Of-Denoisersの事前学習方法を用いて、UL2により1024長のシーケンスでロシア語コーパスと英語を混合して学習されました。バイアスを回転エンコーディングに置き換えたため、Flash Attention 2を使用した学習が可能です。

用途

下流タスクのファインチューニングに使用できます。

バイアス、リスク、制限事項

インストラクションチューニングを行っていますが、モデルサイズが小さいため、ゼロショットモードでの使用は推奨されません。

学習の詳細

学習データ

Vikhrからのロシア語テキストコーパスをFRED-T5-1.7Bのパープレキシティでフィルタリングしたものを使用しています。インストラクションは英語のセットを翻訳したものです。

学習手順

損失の爆発なしに安定した学習を行うために、Adafactorの代わりにAdamWScaleを使用しています。

評価指標

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。

モデルカードの問い合わせ先

@TheMelmoth