Arxiv Summarization

🚀 arxiv-summarization

本模型是基於數據集armanc/scientific_papers（arxiv）對google/flan-t5-small進行微調後的版本。它針對科學摘要的總結進行了優化。

🚀 快速開始

本模型可用於生成較長研究論文的簡短摘要。以下是使用示例：

from transformers import T5ForConditionalGeneration, T5Tokenizer

model = T5ForConditionalGeneration.from_pretrained("Talina06/arxiv-summarization")
tokenizer = T5Tokenizer.from_pretrained("Talina06/arxiv-summarization")

text = "Summarize: Deep learning is being used to advance medical research, particularly in cancer detection."
inputs = tokenizer(text, return_tensors="pt")
summary_ids = model.generate(**inputs)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)

print("Generated Summary:", summary)

✨ 主要特性

• 基於google/flan-t5-small模型進行微調。
• 以Arxiv研究論文作為訓練數據，專注於文本摘要生成。
• 可有效生成較長研究論文的簡短摘要。

📦 安裝指南

文檔未提及具體安裝步驟，可參考transformers庫的安裝方式，使用以下命令安裝：

pip install transformers

💻 使用示例

基礎用法

from transformers import T5ForConditionalGeneration, T5Tokenizer

model = T5ForConditionalGeneration.from_pretrained("Talina06/arxiv-summarization")
tokenizer = T5Tokenizer.from_pretrained("Talina06/arxiv-summarization")

text = "Summarize: Deep learning is being used to advance medical research, particularly in cancer detection."
inputs = tokenizer(text, return_tensors="pt")
summary_ids = model.generate(**inputs)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)

print("Generated Summary:", summary)

📚 詳細文檔

模型詳情

訓練詳情

• 訓練數據：100k+ Arxiv研究論文
• 訓練框架：Hugging Face Transformers
• 超參數：
  • 學習率：5e-5
  • 批量大小：8
  • 訓練輪數：10
• 使用的硬件：TPU & GPU

示例摘要

🔧 技術細節

本模型是在google/flan-t5-small基礎上，使用Hugging Face Transformers框架，以Arxiv研究論文作為訓練數據進行微調。通過設置學習率為5e-5、批量大小為8、訓練輪數為10，在TPU和GPU硬件上進行訓練，最終得到優化後的模型，用於科學摘要的總結。

📄 許可證

本模型使用Apache 2.0許可證。

⚠️ 重要提示

該模型在處理非常專業的論文（例如包含複雜數學公式的論文）時可能會遇到困難。