Rut5 Small

🚀 小型俄語釋義模型

這是一個基於 google/mt5-small 模型的小型俄語釋義器。它的釋義性能相對較差，但可以針對此任務或其他任務進行微調。

🚀 快速開始

模型創建

該模型是通過獲取 alenusch/mt5small-ruparaphraser 模型，並去除其 96% 與俄語無關或不常用的詞彙表而創建的。

• 原始模型有 3 億個參數，其中 2.56 億個是輸入和輸出嵌入。
• 將 sentencepiece 詞彙表從 25 萬個縮減到 2 萬個後，模型參數數量減少到 6500 萬個，模型大小從 1.1GB 縮減到 246MB。
  • 新詞彙表中的前 5000 個標記取自原始的 mt5-small。
  • 接下來的 15000 個標記是通過對來自 Leipzig 語料庫集合 的俄語網絡語料庫進行分詞得到的最常用標記。

使用示例

基礎用法

# !pip install transformers sentencepiece
import torch
from transformers import T5ForConditionalGeneration, T5Tokenizer

tokenizer = T5Tokenizer.from_pretrained("cointegrated/rut5-small")
model = T5ForConditionalGeneration.from_pretrained("cointegrated/rut5-small")

text = 'Ехал Грека через реку, видит Грека в реке рак. '
inputs = tokenizer(text, return_tensors='pt')
with torch.no_grad():
    hypotheses = model.generate(
        **inputs, 
        do_sample=True, top_p=0.95, num_return_sequences=10, 
        repetition_penalty=2.5,
        max_length=32,
    )
for h in hypotheses:
    print(tokenizer.decode(h, skip_special_tokens=True))

📄 許可證

本項目採用 MIT 許可證。