LEGIT BART LSG 4096

🚀 模型卡片：LEGIT-BART系列

LEGIT-BART系列模型是用于意大利法律文本处理的预训练Transformer模型。它基于BART-IT进一步在意大利法律语料库上进行预训练，具备长文本处理能力，可应用于法律文本的摘要生成等任务。

🚀 快速开始

安装依赖

确保你已经安装了transformers库，若未安装，可以使用以下命令进行安装：

pip install transformers

代码示例

from transformers import BartForConditionalGeneration, AutoTokenizer

# 加载分词器和模型
model_name = "morenolq/LEGIT-BART-LSG-4096"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = BartForConditionalGeneration.from_pretrained(model_name)

# 示例输入
input_text = "<mask> 1234: Il contratto si intende concluso quando..."
inputs = tokenizer(input_text, return_tensors="pt", max_length=4096, truncation=True)

# 生成摘要
summary_ids = model.generate(inputs.input_ids, max_length=150, num_beams=4, early_stopping=True)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print("📝 摘要:", summary)

✨ 主要特性

• 扩展上下文长度：采用Local-Sparse-Global (LSG) Attention机制，支持处理长达16,384个标记的文本。
• 基于法律文档训练：在法规、判例法和合同等法律文件上进行训练。
• 未针对特定任务微调：模型需要进一步调整以适应特定的法律自然语言处理任务。

📦 可用模型

🔧 技术细节

架构

• 基础模型：morenolq/bart-it
• Transformer编解码器：采用Transformer架构进行文本编码和解码。
• LSG注意力机制：适用于长文档处理。
• 特定分词器：从头开始训练的模型使用特定的分词器，但在实验中持续预训练的效果更好。

训练数据

• 数据集：joelniklaus/Multi_Legal_Pile
• 法律文本类型：包括立法（法律、法规、修正案）、判例法（司法判决）和合同（公共法律协议）。

📚 详细文档

限制与伦理考量

⚠️ 重要提示

• 未针对特定任务微调：模型在法律文本上进行了预训练，但可能需要进一步调整以适应特定的法律自然语言处理任务（如摘要生成、问答）。
• 偏差与公平性：法律文本可能包含法律系统中存在的偏差，使用模型时应确保公平性和道德性。
• 法律建议：模型不能替代专业的法律建议，遇到法律问题时请咨询合格的法律专业人士。

引用

该模型相关的论文目前正在审核中，发表后将在此更新。

@article{benedetto2025legitbart,
	title        = {LegItBART: a summarization model for Italian legal documents},
	author       = {Benedetto, Irene and La Quatra, Moreno and Cagliero, Luca},
	year         = 2025,
	journal      = {Artificial Intelligence and Law},
	publisher    = {Springer},
	pages        = {1--31},
	doi          = {10.1007/s10506-025-09436-y},
	url          = {doi.org/10.1007/s10506-025-09436-y}
}

📄 许可证

本模型使用MIT许可证。