Arxiv Summarization

🚀 arxiv-summarization

このモデルは、armanc/scientific_papers (arxiv) のデータセットで google/flan-t5-small をファインチューニングしたものです。科学論文の要約に最適化されています。

✨ 主な機能

このモデルは、科学論文の要約を生成するために最適化されており、長い研究論文の短い要約を生成することができます。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import T5ForConditionalGeneration, T5Tokenizer

model = T5ForConditionalGeneration.from_pretrained("Talina06/arxiv-summarization")
tokenizer = T5Tokenizer.from_pretrained("Talina06/arxiv-summarization")

text = "Summarize: Deep learning is being used to advance medical research, particularly in cancer detection."
inputs = tokenizer(text, return_tensors="pt")
summary_ids = model.generate(**inputs)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)

print("Generated Summary:", summary)

📚 ドキュメント

モデルの詳細

訓練の詳細

• 訓練データ: 100k以上のArxiv研究論文
• 訓練フレームワーク: Hugging Face Transformers
• ハイパーパラメータ:
  • 学習率: 5e-5
  • バッチサイズ: 8
  • エポック数: 10
• 使用ハードウェア: TPU & GPU

🔧 技術詳細

このモデルは、google/flan-t5-small をベースに、Arxivの研究論文のデータセットでファインチューニングされています。ファインチューニングには、Hugging Face Transformersフレームワークを使用し、TPUとGPUを用いて訓練を行いました。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。

制限事項

⚠️ 重要提示

このモデルは、非常に技術的な論文（例えば、複雑な数式を含む論文）の要約には苦労する可能性があります。

要約の例