LEGIT SCRATCH BART

🚀 📌 モデルカード: LEGIT-BARTシリーズ

LEGIT-BART モデルは、イタリア語の法的テキスト処理 のための 事前学習済みトランスフォーマーベースのモデル のファミリーです。 これらのモデルは BART-IT (morenolq/bart-it) をベースに構築され、イタリア語の法的コーパス でさらに事前学習されています。

🚀 クイックスタート

以下のコードを使って、モデルを簡単に使い始めることができます。

from transformers import BartForConditionalGeneration, AutoTokenizer

# トークナイザーとモデルを読み込む
model_name = "morenolq/LEGIT-SCRATCH-BART"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = BartForConditionalGeneration.from_pretrained(model_name)

# 入力例
input_text = "<mask> 1234: Il contratto si intende concluso quando..."
inputs = tokenizer(input_text, return_tensors="pt", max_length=512, truncation=True)

# 事前学習済みモデルでマスクを埋める
output_ids = model.generate(inputs.input_ids, max_length=150, num_beams=4, early_stopping=True)
output_text = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print("📝:", output_text)

✨ 主な機能

💡 主な特徴:

• Local-Sparse-Global (LSG) Attention による 拡張コンテキスト長（最大 16,384トークン） 📜
• 法令、判例、契約書 などの 法的文書で学習 📑
• 特定のタスクにはファインチューニングされていない（さらなる適応が必要）

📦 利用可能なモデル

🔧 技術詳細

アーキテクチャ

• ベースモデル: morenolq/bart-it
• トランスフォーマーエンコーダー-デコーダー
• 長文書用の LSGアテンション
• ゼロから学習したモデル用の特定のトークナイザー（我々の実験では継続事前学習より性能が劣る）。

学習データ

• データセット: joelniklaus/Multi_Legal_Pile
• 使用される法的テキストの種類:
  • 立法（法律、法典、改正案）
  • 判例（司法判決）
  • 契約書（公的な法的合意）

💻 使用例

基本的な使用法

from transformers import BartForConditionalGeneration, AutoTokenizer

# Load tokenizer and model
model_name = "morenolq/LEGIT-SCRATCH-BART"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = BartForConditionalGeneration.from_pretrained(model_name)

# Example input
input_text = "<mask> 1234: Il contratto si intende concluso quando..."
inputs = tokenizer(input_text, return_tensors="pt", max_length=512, truncation=True)

# Pre-trained model fill the mask
output_ids = model.generate(inputs.input_ids, max_length=150, num_beams=4, early_stopping=True)
output_text = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print("📝:", output_text)

📄 ライセンス

このモデルは MIT ライセンスの下で提供されています。

⚠️ 重要提示

• 特定のタスクにはファインチューニングされていない：これらのモデルは法的テキストで事前学習されており、特定の法的NLPタスク（要約、質問応答など）にはさらなる適応が必要です。
• バイアスと公平性：法的テキストには法制度に存在するバイアスが含まれている可能性があります。モデルの公平性と倫理的な使用を確保するために注意が必要です。
• 法的アドバイス：これらのモデルは専門的な法的アドバイスの代替品ではありません。法的問題については常に適格な法律専門家に相談してください。

📚 参考文献

LEGIT-BARTモデルを紹介する論文は現在査読中であり、公開され次第ここに更新されます。

@article{benedetto2025legitbart,
	title        = {LegItBART: a summarization model for Italian legal documents},
	author       = {Benedetto, Irene and La Quatra, Moreno and Cagliero, Luca},
	year         = 2025,
	journal      = {Artificial Intelligence and Law},
	publisher    = {Springer},
	pages        = {1--31},
	doi          = {10.1007/s10506-025-09436-y},
	url          = {doi.org/10.1007/s10506-025-09436-y}
}