Rut5 Small

🚀 小型ロシア語パラフレーズモデル

このモデルは、google/mt5-small をベースにした小型のロシア語パラフレーズモデルです。パラフレーズの性能はそれほど高くありませんが、このタスクや他のタスクに対して微調整することができます。

🚀 クイックスタート

このモデルは、alenusch/mt5small-ruparaphraser モデルから、ロシア語に関係ないまたは頻度の低い語彙の96%を削除することで作成されました。

• 元のモデルは3億のパラメータを持ち、そのうち2.56億は入力と出力の埋め込みです。
• sentencepiece の語彙を25万から2万に縮小することで、モデルのパラメータ数は6500万に減少し、モデルサイズは1.1GBから246MBに減少しました。
  • 新しい語彙の最初の5000トークンは、元の mt5-small から取得されます。
  • 次の15000トークンは、Leipzig corpora collection のロシア語ウェブコーパスをトークン化して得られた最も頻繁に出現するトークンです。

💻 使用例

基本的な使用法

# !pip install transformers sentencepiece
import torch
from transformers import T5ForConditionalGeneration, T5Tokenizer

tokenizer = T5Tokenizer.from_pretrained("cointegrated/rut5-small")
model = T5ForConditionalGeneration.from_pretrained("cointegrated/rut5-small")

text = 'Ехал Грека через реку, видит Грека в реке рак. '
inputs = tokenizer(text, return_tensors='pt')
with torch.no_grad():
    hypotheses = model.generate(
        **inputs, 
        do_sample=True, top_p=0.95, num_return_sequences=10, 
        repetition_penalty=2.5,
        max_length=32,
    )
for h in hypotheses:
    print(tokenizer.decode(h, skip_special_tokens=True))

📄 ライセンス

このモデルはMITライセンスの下で提供されています。