LEGIT BART

🚀 LEGIT - BARTシリーズのモデルカード

LEGIT - BARTモデルは、イタリア語の法的テキスト処理のための事前学習済みトランスフォーマーベースのモデルのファミリーです。これらのモデルはBART - IT ([morenolq/bart - it](https://huggingface.co/morenolq/bart - it))をベースに、イタリア語の法的コーパスでさらに事前学習されています。

🚀 クイックスタート

モデルの概要

LEGIT - BARTモデルは、イタリア語の法的テキスト処理に特化した事前学習済みトランスフォーマーベースのモデルです。BART - ITをベースに、イタリア語の法的コーパスでさらに事前学習されています。

コードによる使用例

from transformers import BartForConditionalGeneration, AutoTokenizer

# トークナイザーとモデルをロード
model_name = "morenolq/LEGIT-BART"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = BartForConditionalGeneration.from_pretrained(model_name)

# 入力例
input_text = "<mask> 1234: Il contratto si intende concluso quando..."
inputs = tokenizer(input_text, return_tensors="pt", max_length=512, truncation=True)

# 事前学習済みモデルでマスクを埋める
output_ids = model.generate(inputs.input_ids, max_length=150, num_beams=4, early_stopping=True)
output_text = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print("📝:", output_text)

✨ 主な機能

• Local - Sparse - Global (LSG) Attentionによる拡張コンテキスト長（最大16,384トークン）📜
• 法令、判例、契約書などの法的文書で学習 📑
• 特定のタスクにはファインチューニングされていない（さらなる適応が必要）

📦 利用可能なモデル

🔧 技術詳細

アーキテクチャ

• ベースモデル: [morenolq/bart - it](https://huggingface.co/morenolq/bart - it)
• トランスフォーマーエンコーダー - デコーダー
• 長文書用のLSGアテンション
• ゼロから学習したモデル用の特定のトークナイザー（実験では継続事前学習より性能が低い）

学習データ

• データセット: joelniklaus/Multi_Legal_Pile
• 使用された法的テキストの種類:
  • 法令（法律、法典、改正案）
  • 判例（司法判決）
  • 契約書（公的法的契約）

📚 ドキュメント

LEGIT - BARTモデルを紹介する論文は現在レビュー中で、公開され次第ここに更新されます。

@article{benedetto2025legitbart,
	title        = {LegItBART: a summarization model for Italian legal documents},
	author       = {Benedetto, Irene and La Quatra, Moreno and Cagliero, Luca},
	year         = 2025,
	journal      = {Artificial Intelligence and Law},
	publisher    = {Springer},
	pages        = {1--31},
	doi          = {10.1007/s10506-025-09436-y},
	url          = {doi.org/10.1007/s10506-025-09436-y}
}

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

⚠️ 重要提示

• 特定のタスクにはファインチューニングされていない：これらのモデルは法的テキストで事前学習されており、特定の法的NLPタスク（要約、質問応答など）にはさらなる適応が必要です。
• バイアスと公正性：法的テキストには法制度に存在するバイアスが含まれる場合があります。モデルの公正で倫理的な使用を確保するように注意する必要があります。
• 法的アドバイス：これらのモデルは専門的な法的アドバイスの代替品ではありません。法的問題については常に資格のある法的専門家に相談してください。