LEGIT BART LSG 4096

🚀 LEGIT-BARTシリーズ: モデルカード

LEGIT-BARTモデルは、イタリア語の法的テキスト処理のための事前学習済みトランスフォーマーベースのモデルのファミリーです。 これらのモデルはBART-IT (morenolq/bart-it) をベースに、イタリア語の法的コーパスでさらに事前学習されています。

💡 主な特徴:

• Local-Sparse-Global (LSG) Attentionによる拡張コンテキスト長（最大16,384トークン） 📜
• 法令、判例、契約書などの法的文書で学習 📑
• 特定のタスクにはファインチューニングされていない（さらなる適応が必要）

✨ 主な機能

📂 利用可能なモデル

🔧 技術詳細

🔹 アーキテクチャ

• ベースモデル: morenolq/bart-it
• トランスフォーマーエンコーダ・デコーダ
• 長文書用のLSGアテンション
• ゼロから学習したモデルには特定のトークナイザーがあります（我々の実験では継続事前学習よりも性能が劣ります）。

🔹 学習データ

• データセット: joelniklaus/Multi_Legal_Pile
• 使用された法的テキストの種類:
  • 立法（法律、法典、改正案）
  • 判例法（司法判決）
  • 契約書（公的な法的合意）

💻 使用例

基本的な使用法

from transformers import BartForConditionalGeneration, AutoTokenizer

# Load tokenizer and model
model_name = "morenolq/LEGIT-BART-LSG-4096"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = BartForConditionalGeneration.from_pretrained(model_name)

# Example input
input_text = "<mask> 1234: Il contratto si intende concluso quando..."
inputs = tokenizer(input_text, return_tensors="pt", max_length=4096, truncation=True)

# Generate summary
summary_ids = model.generate(inputs.input_ids, max_length=150, num_beams=4, early_stopping=True)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print("📝 Summary:", summary)

📚 ドキュメント

⚠️ 制限事項と倫理的な考慮事項

• 特定のタスクにファインチューニングされていない: これらのモデルは法的テキストで事前学習されており、特定の法的NLPタスク（例: 要約、質問応答）にはさらなる適応が必要です。
• バイアスと公正性: 法的テキストには法制度に存在するバイアスが含まれている可能性があります。モデルの公正で倫理的な使用を確保するために注意が必要です。
• 法的アドバイス: これらのモデルは専門的な法的アドバイスの代替品ではありません。法的事項については常に適格な法的専門家に相談してください。

📚 参考文献

LEGIT-BARTモデルを紹介する論文は現在査読中で、公開され次第ここに更新されます。

@article{benedetto2025legitbart,
	title        = {LegItBART: a summarization model for Italian legal documents},
	author       = {Benedetto, Irene and La Quatra, Moreno and Cagliero, Luca},
	year         = 2025,
	journal      = {Artificial Intelligence and Law},
	publisher    = {Springer},
	pages        = {1--31},
	doi          = {10.1007/s10506-025-09436-y},
	url          = {doi.org/10.1007/s10506-025-09436-y}
}

📄 ライセンス

このモデルはMITライセンスの下で提供されています。