🚀 IT5 Small用於維基百科摘要生成 ✂️📑 🇮🇹
本倉庫包含 IT5 Small 模型在 WITS 數據集上針對維基百科摘要任務進行微調後的檢查點。該模型是 Gabriele Sarti 和 Malvina Nissim 所著論文 IT5: 大規模意大利語理解與生成的文本到文本預訓練 實驗的一部分。
gsarti/it5 倉庫提供了其他發佈材料的全面概述。有關報告分數和評估方法的更多詳細信息,請參考論文。
🚀 快速開始
✨ 主要特性
- 多框架支持:模型檢查點可在 Tensorflow、Pytorch 和 JAX 中使用。
- 多種使用方式:既可以通過管道直接使用,也能使用自動類加載。
- 良好的評估指標:在 ROUGE 和 BERTScore 等指標上有較好表現。
📦 安裝指南
文檔未提及安裝步驟,此處跳過。
💻 使用示例
基礎用法
from transformers import pipelines
wikisum = pipeline("summarization", model='it5/it5-small-wiki-summarization')
wikisum("Le dimensioni dell'isola sono di 8 km di lunghezza e di 3,2 km di larghezza. Si trova a 1,6 km a sud-est dell'isola di Renaud, dalla quale è separata dal passaggio Rodman. La sua altezza è di 100 m. Fu scoperta dall'esploratore e baleniere britannico John Biscoe nel 1832 e venne mappata durante una spedizione antartica francese realizzata nel primo decennio del XX secolo. Al comando della spedizione era Jean-Baptiste Charcot e il nome fu scelto per onorare l'esploratore e geografo francese Charles Rabot. === Rivendicazioni territoriali === * Secondo l'Argentina appartiene al dipartimento dell'Antartide Argentina nella provincia della Terra del Fuoco. * Secondo il Cile appartiene al comune antartico della provincia cilena antartica nella regione di Magallanes e dell'Antartico cileno. * Secondo il Regno Unito fa parte del territorio antartico britannico. Per il Trattato Antartico tali rivendicazioni sono sospese. Sull'isola è presente il rifugio Guillochon, sito storico antartico. ")
>>> [{"generated_text": "L' '''isola di Rabot''' si trova in prossimità dell'isola di Renaud, a sud dell'Argentina."}]
高級用法
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("it5/it5-small-wiki-summarization")
model = AutoModelForSeq2SeqLM.from_pretrained("it5/it5-small-wiki-summarization")
📚 詳細文檔
模型信息
屬性 |
詳情 |
模型類型 |
it5-small-wiki-summarization |
訓練數據 |
WITS |
評估指標 |
ROUGE、BERTScore |
模型結果
模型名為 it5-small-wiki-summarization,在維基百科摘要任務上的評估結果如下:
任務 |
數據集 |
指標 |
值 |
維基百科摘要 |
WITS |
Test Rouge1 |
0.337 |
維基百科摘要 |
WITS |
Test Rouge2 |
0.191 |
維基百科摘要 |
WITS |
Test RougeL |
0.306 |
維基百科摘要 |
WITS |
Test BERTScore |
0.504 |
🔧 技術細節
文檔未提及技術實現細節,此處跳過。
📄 許可證
本項目採用 Apache-2.0 許可證。
引用說明
如果您在研究中使用了此模型,請按以下格式引用我們的工作:
@article{sarti-nissim-2022-it5,
title={{IT5}: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation},
author={Sarti, Gabriele and Nissim, Malvina},
journal={ArXiv preprint 2203.03759},
url={https://arxiv.org/abs/2203.03759},
year={2022},
month={mar}
}
碳排放信息
- 排放量:8g
- 來源:Google Cloud Platform Carbon Footprint
- 訓練類型:微調
- 地理位置:荷蘭埃姆斯哈文,歐洲
- 使用硬件:1 TPU v3 - 8 VM
模型縮略圖
點擊查看