Plt5 Small

🚀 plT5 Small

plT5 モデルは、T5 をベースにした言語モデルで、ポーランド語のコーパスで学習されています。これらのモデルは、元の T5 のノイズ除去ターゲットに合わせて最適化されており、翻訳、要約生成、質問応答、読解などのタスクに使用できます。

🚀 クイックスタート

以下のコードを使用して、plT5 Small モデルをロードできます。

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("allegro/plt5-small")
model = AutoModel.from_pretrained("allegro/plt5-small")

✨ 主な機能

• 多タスク対応：翻訳、要約生成、質問応答、読解など、様々な自然言語処理タスクをサポートします。
• ポーランド語最適化：複数のポーランド語コーパスで学習されており、ポーランド語の処理に優れた性能を発揮します。

📦 インストール

ドキュメントに具体的なインストール手順は記載されていません。transformers ライブラリの公式ドキュメントを参考にインストールしてください。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("allegro/plt5-small")
model = AutoModel.from_pretrained("allegro/plt5-small")

📚 ドキュメント

コーパス

plT5 は、6 種類の異なるポーランド語コーパスで学習されています。

トークナイザー

学習データセットは、sentencepiece のユニグラムモデルを使用してサブワードに分割され、語彙サイズは 50k トークンです。

🔧 技術詳細

📄 ライセンス

このモデルは、CC BY 4.0 ライセンスで提供されています。

📖 引用

このモデルを使用した場合は、以下の論文を引用してください。

@article{chrabrowa2022evaluation,
  title={Evaluation of Transfer Learning for Polish with a Text-to-Text Model},
  author={Chrabrowa, Aleksandra and Dragan, {\L}ukasz and Grzegorczyk, Karol and Kajtoch, Dariusz and Koszowski, Miko{\l}aj and Mroczkowski, Robert and Rybak, Piotr},
  journal={arXiv preprint arXiv:2205.08808},
  year={2022}
}

👥 作者

このモデルは、Allegro 機械学習研究チーム と ポーランド科学院コンピュータ科学研究所言語工学グループ によって学習されました。

klejbenchmark@allegro.pl までご連絡いただけます。