🚀 flan - t5 - titlegen - springer模型
本模型是一个用于科学摘要自动生成简洁标题的模型,基于google/flan - t5 - base微调而来,能有效利用预训练模型的能力,为机器学习相关研究生成精准标题。
🚀 快速开始
安装依赖
确保你已经安装了transformers
库,可以使用以下命令进行安装:
pip install transformers
代码示例
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
model = AutoModelForSeq2SeqLM.from_pretrained("tiam4tt/flan-t5-titlegen-springer")
tokenizer = AutoTokenizer.from_pretrained("tiam4tt/flan-t5-titlegen-springer")
abstract = "Transfer learning has become a crucial technique in deep learning, enabling models to leverage knowledge from pre-trained networks for improved performance on new tasks. In this study, we propose an optimized fine-tuning strategy for convolutional neural networks (CNNs), reducing training time while maintaining high accuracy. Experiments on CIFAR-10 show a 15% improvement in efficiency compared to standard fine-tuning methods, demonstrating the effectiveness of our approach."
inputs = tokenizer(abstract, return_tensors="pt", padding=True, truncation=True)
outputs = model.generate(**inputs, max_new_tokens=32)
title = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(title)
✨ 主要特性
- 基于google/flan - t5 - base微调,专门用于将科学摘要进行抽象式总结,生成简洁标题。
- 在来自Springer期刊出版物的数据集上进行训练,该数据集经过筛选,仅包含与机器学习相关的研究。
- 利用FLAN - T5的指令跟随能力,生成精确且与上下文相关的标题。
📚 详细文档
模型详情
- 开发者:tiam4tt,HTThuanHcmus
- 模型类型:语言模型
- 语言(NLP):英语
- 许可证:MIT
- 微调基础模型:[google/flan - t5 - base](https://huggingface.co/google/flan - t5 - base)
项目仓库
直接使用和下游使用
该模型可以在更广泛的跨学科数据集上进行进一步微调,以提高其在其他研究领域的泛化能力和准确性,从而生成更精确且与上下文相关的标题。
适用范围外的使用
将此模型用于不相关的任务,如新闻文章摘要、创意写作生成或处理来自不相关领域(如化学、法律或医学)的高度技术性摘要,可能会导致输出不准确或质量低下。若要在机器学习文献之外实现有效泛化,需要在更广泛的数据集上进行微调。
训练数据
[springer - journal - final](https://www.kaggle.com/datasets/tiamatt/springer - journal - final)
评估指标
指标类型 |
值 |
ROUGE_1 |
0.6852 |
ROUGE_2 |
0.5385 |
ROUGE_L |
0.6411 |
ROUGE_Lsum |
0.6411 |
Precision |
0.9383 |
Recall |
0.9222 |
F1 |
0.9300 |
📄 许可证
本模型使用的许可证为MIT许可证。