Fine Tuned T5 Summarizer

🚀 微調T5摘要生成器模型卡片

本模型是T5基礎模型的微調版本，旨在將法律文本總結為簡潔的長短摘要。它能夠高效處理複雜的法律案件，便於快速洞察和詳細分析。

🚀 快速開始

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

model_name = "manjunathainti/fine_tuned_t5_summarizer"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

# 示例輸入
input_text = "Insert a legal case description here."
input_ids = tokenizer(input_text, return_tensors="pt").input_ids

# 生成摘要
summary_ids = model.generate(input_ids, max_length=150, num_beams=4, length_penalty=2.0)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print("Generated Summary:", summary)

✨ 主要特性

• 專為法律案件摘要生成而開發，可處理長法律文檔。
• 生成兩種類型的摘要：簡潔的短摘要用於快速回顧，詳細的長摘要用於深入分析。
• 可直接用於總結英文法律案件文本，也能集成到法律文檔管理系統和法律研究與合規的AI工具中。

📚 詳細文檔

模型詳情

模型描述

這是為法律案件摘要開發的微調T5摘要生成器的模型卡片。該模型經過專門優化，可處理長法律文檔並生成兩種類型的摘要：

• 短摘要：用於快速回顧的簡潔要點。
• 長摘要：用於深入分析的詳細見解。

模型來源

• 倉庫：[待添加GitHub倉庫URL]
• 演示：[待添加Colab筆記本]
• Hugging Face上的模型：https://huggingface.co/manjunathainti/fine_tuned_t5_summarizer

使用方式

直接使用

該模型可直接用於總結法律案件文本，對英文法律文檔效果最佳。

下游使用

該模型可集成到以下系統中：

• 法律文檔管理系統。
• 用於法律研究和合規的AI工具。

超出適用範圍的使用

• 未經額外微調用於非法律文檔。
• 用於英語以外語言的摘要生成。

偏差、風險和侷限性

偏差

該模型可能反映訓練數據中存在的偏差，例如司法管轄區重點或數據集中固有的社會偏差。

風險

• 可能會遺漏關鍵的法律細節。
• 模型的輸出不應替代專業的法律意見。

建議

• 法律專家應始終審查輸出結果。
• 避免將其用於需要完全精確的法律任務。

訓練數據

• 數據集：Multi-LexSum
• 預處理：使用分詞技術對數據集進行預處理，以用於摘要生成任務。

訓練過程

預處理

• 對數據集進行分詞和截斷處理。
• 輸入序列上限為1024個標記。
• 摘要限制為：
  • 短摘要150個標記。
  • 長摘要300個標記。

訓練超參數

• 學習率：5e - 5
• 批量大小：1（梯度累積步數：8）
• 訓練輪數：3
• 優化器：AdamW
• 精度：混合精度（fp16）

速度、大小、時間

• 訓練時間：約4小時
• 檢查點大小：約892 MB
• 硬件：NVIDIA Tesla V100

評估

測試數據、因素和指標

• 測試數據：在Multi-LexSum數據集的validation分割上進行驗證，包含4818個示例。
• 指標：
  • bert_score短摘要精度：0.84
  • bert_score長摘要精度：0.81

結果

該模型為法律文檔生成可靠的短摘要和長摘要，保持連貫性和相關性。

總結

微調後的T5模型在總結法律文檔方面表現出色，取得了有競爭力的BERT分數。

模型審查

可解釋性

該模型生成人類可讀的摘要，對於法律領域的最終用戶具有很高的可解釋性。

環境影響

• 碳排放 可使用Lacoste等人（2019）中提出的機器學習影響計算器進行估算。
  • 硬件類型：NVIDIA Tesla V100
  • 使用時長：約4小時
  • 雲服務提供商：Google Colab
  • 計算區域：美國
  • 估計碳排放：由於訓練時間短，排放量極小。

技術規格

模型架構和目標

• T5架構專為文本到文本任務而設計。
• 此微調模型將T5應用於法律文本摘要生成，利用了序列到序列學習的靈活性。

計算基礎設施

• 硬件：NVIDIA Tesla V100
• 軟件：Hugging Face Transformers 4.46.3，PyTorch

📄 許可證

本模型使用Apache 2.0許可證。