LEGIT BART LSG 16384

🚀 模型卡片：LEGIT-BART系列

LEGIT-BART系列模型是用於意大利法律文本處理的預訓練Transformer模型。它基於BART-IT進行進一步預訓練，能夠處理較長的法律文本，為法律領域的自然語言處理任務提供支持。

🚀 快速開始

以下是使用LEGIT-BART-LSG-16384模型進行文本摘要生成的示例代碼：

from transformers import BartForConditionalGeneration, AutoTokenizer

# 加載分詞器和模型
model_name = "morenolq/LEGIT-BART-LSG-16384"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = BartForConditionalGeneration.from_pretrained(model_name)

# 示例輸入
input_text = "<mask> 1234: Il contratto si intende concluso quando..."
inputs = tokenizer(input_text, return_tensors="pt", max_length=16384, truncation=True)

# 生成摘要
summary_ids = model.generate(inputs.input_ids, max_length=150, num_beams=4, early_stopping=True)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print("📝 摘要:", summary)

✨ 主要特性

• 擴展上下文長度：採用Local-Sparse-Global (LSG) 注意力機制，支持長達16,384個標記的輸入 📜
• 基於法律文檔訓練：在法規、判例法和合同等法律文檔上進行訓練 📑
• 未針對特定任務微調：需要進一步調整以適應特定任務

📦 可用模型

📚 詳細文檔

模型細節

架構

• 基礎模型：morenolq/bart-it
• Transformer編解碼器
• LSG注意力機制：適用於長文檔處理
• 特定分詞器：從頭開始訓練的模型使用特定的分詞器，但在實驗中，其性能不如繼續預訓練的模型。

訓練數據

• 數據集：joelniklaus/Multi_Legal_Pile
• 法律文本類型：
  • 立法：包括法律、法規和修正案
  • 判例法：司法判決
  • 合同：公共法律協議

侷限性與倫理考量

⚠️ 重要提示

• 未針對特定任務微調：模型在法律文本上進行了預訓練，但可能需要進一步調整以適應特定的法律自然語言處理任務（如摘要生成、問答等）。
• 偏差與公平性：法律文本可能包含法律系統中存在的偏差。使用模型時應注意確保公平性和道德性。
• 法律建議：模型不能替代專業的法律建議。在處理法律事務時，請諮詢合格的法律專業人士。

引用

介紹LEGIT-BART模型的論文目前正在審核中，發表後將在此更新。

@article{benedetto2025legitbart,
	title        = {LegItBART: a summarization model for Italian legal documents},
	author       = {Benedetto, Irene and La Quatra, Moreno and Cagliero, Luca},
	year         = 2025,
	journal      = {Artificial Intelligence and Law},
	publisher    = {Springer},
	pages        = {1--31},
	doi          = {10.1007/s10506-025-09436-y},
	url          = {doi.org/10.1007/s10506-025-09436-y}
}

📄 許可證

本模型採用MIT許可證。