Rut5 Base Summ

🚀 rut5-base-summ

該模型是基於 ai-forever/ruT5-base 微調而來，主要用於文本和對話摘要生成。它使用了多個數據集進行訓練，在摘要任務上有一定的表現。

🚀 快速開始

摘要生成管道

from transformers import pipeline

pipe = pipeline('summarization', model='d0rj/rut5-base-summ')
pipe(text)

文本到文本生成

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained('d0rj/rut5-base-summ')
model = T5ForConditionalGeneration.from_pretrained('d0rj/rut5-base-summ').eval()

input_ids = tokenizer(text, return_tensors='pt').input_ids
outputs = model.generate(input_ids)
summary = tokenizer.decode(outputs[0], skip_special_tokens=True)

✨ 主要特性

• 基於 ai-forever/ruT5-base 進行微調，適用於文本和對話摘要生成。
• 使用多個數據集進行訓練，包括 d0rj/samsum-ru、IlyaGusev/gazeta 等。

📦 安裝指南

文檔未提及安裝步驟，可參考 transformers 庫的官方安裝指南進行安裝。

💻 使用示例

基礎用法

from transformers import pipeline

pipe = pipeline('summarization', model='d0rj/rut5-base-summ')
pipe(text)

高級用法

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained('d0rj/rut5-base-summ')
model = T5ForConditionalGeneration.from_pretrained('d0rj/rut5-base-summ').eval()

input_ids = tokenizer(text, return_tensors='pt').input_ids
outputs = model.generate(input_ids)
summary = tokenizer.decode(outputs[0], skip_special_tokens=True)

📚 詳細文檔

模型

微調了 ai-forever/ruT5-base 用於文本和對話摘要生成。

數據

• d0rj/samsum-ru
• IlyaGusev/gazeta
• zjkarina/matreshka
• rcp-meetings/rudialogsum_v2
• GEM/wiki_lingua
• mlsum

所有的 'train' 子集被拼接在一起，並使用種子 1000 - 7 進行打亂。訓練子集共有 155678 行。

指標

在拼接後的 'validation' 子集的 10%（即 1458 行）上進行評估。 查看 WandB 日誌。 報告正在編寫中（REPORT WIP）。

注意事項

⚠️ 重要提示

調度器、優化器和訓練器的狀態已保存到該倉庫中，因此你可以使用這些狀態，結合現有的梯度，用自己的數據繼續進行微調。

🔧 技術細節

文檔未提供詳細的技術實現細節。

📄 許可證

文檔未提及許可證信息。