LEGIT BART LSG 16384

🚀 LEGIT-BARTシリーズのモデルカード

LEGIT-BARTモデルは、イタリア語の法的テキスト処理を行うための事前学習済みトランスフォーマーベースのモデル群です。これらのモデルは、BART-IT (morenolq/bart-it) をベースに、イタリア語の法的コーパスでさらに事前学習されています。

🚀 クイックスタート

LEGIT-BARTモデルを使うには、以下のPythonコードを参考にしてください。

from transformers import BartForConditionalGeneration, AutoTokenizer

# トークナイザーとモデルをロード
model_name = "morenolq/LEGIT-BART-LSG-16384"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = BartForConditionalGeneration.from_pretrained(model_name)

# 入力例
input_text = "<mask> 1234: Il contratto si intende concluso quando..."
inputs = tokenizer(input_text, return_tensors="pt", max_length=16384, truncation=True)

# 要約を生成
summary_ids = model.generate(inputs.input_ids, max_length=150, num_beams=4, early_stopping=True)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print("📝 Summary:", summary)

✨ 主な機能

• Local-Sparse-Global (LSG) アテンションによる拡張コンテキスト長（最大 16,384トークン）📜
• 法令、判例、契約書などの法的文書で学習 📑
• 特定のタスクにはファインチューニングされていない（さらなる適応が必要）

📦 利用可能なモデル

🔧 技術詳細

アーキテクチャ

• ベースモデル: morenolq/bart-it
• トランスフォーマーエンコーダ・デコーダ
• 長文書用のLSGアテンション
• ゼロから学習したモデルには特定のトークナイザーが使用されている（我々の実験では継続事前学習より性能が劣る）

学習データ

• データセット: joelniklaus/Multi_Legal_Pile
• 使用された法的テキストの種類:
  • 立法（法律、法典、改正案）
  • 判例（司法判決）
  • 契約書（公的な法的契約）

⚠️ 制限事項と倫理的考慮事項

• 特定のタスクにファインチューニングされていない：これらのモデルは法的テキストで事前学習されており、特定の法的NLPタスク（要約、質問応答など）にはさらなる適応が必要です。
• バイアスと公正性：法的テキストには法制度に存在するバイアスが含まれている可能性があります。モデルの公正かつ倫理的な使用を確保するために注意が必要です。
• 法的アドバイス：これらのモデルは専門的な法的アドバイスの代替品ではありません。法的問題については常に資格のある法的専門家に相談してください。

📚 参考文献

LEGIT-BARTモデルを紹介する論文は現在査読中であり、公開され次第ここに更新されます。

@article{benedetto2025legitbart,
	title        = {LegItBART: a summarization model for Italian legal documents},
	author       = {Benedetto, Irene and La Quatra, Moreno and Cagliero, Luca},
	year         = 2025,
	journal      = {Artificial Intelligence and Law},
	publisher    = {Springer},
	pages        = {1--31},
	doi          = {10.1007/s10506-025-09436-y},
	url          = {doi.org/10.1007/s10506-025-09436-y}
}