Bart Legal Base Es

🚀 BART Legal Spanish ⚖️

BART Legal Spanish (base) は、スペイン語の法的ドメインのコーパスのコレクションで学習された BART のようなモデルです。

BART は、双方向（BERT のような）エンコーダと自己回帰（GPT のような）デコーダを持つトランスフォーマーの エンコーダ - デコーダ（seq2seq）モデルです。BART は、(1) 任意のノイズ関数でテキストを破損させ、(2) 元のテキストを再構築するモデルを学習することで事前学習されます。

このモデルは、テキスト生成タスク（例: 要約、翻訳）にファインチューニングすると特に効果的ですが、理解タスク（例: テキスト分類、質問応答）にもうまく機能します。

🚀 クイックスタート

このモデルは、テキスト生成や理解タスクに使用できます。以下のセクションでは、その使い方や学習の詳細について説明します。

✨ 主な機能

• テキスト生成: 要約や翻訳などのタスクに適しています。
• テキスト理解: テキスト分類や質問応答などのタスクでも良好な性能を発揮します。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import BartForConditionalGeneration, BartTokenizer

model_id = "mrm8488/bart-legal-base-es"

model = BartForConditionalGeneration.from_pretrained(model_id, forced_bos_token_id=0)
tokenizer = BartTokenizer.from_pretrained(model_id)

def fill_mask_span(text):
  batch = tokenizer(text, return_tensors="pt")
  generated_ids = model.generate(batch["input_ids"])
  print(tokenizer.batch_decode(generated_ids, skip_special_tokens=True))

text = "Los españoles son <mask> ante la ley."
fill_mask_span(text)
# Output: ['Los españoles son iguales ante la ley.1.ª y 2.ª ante la']

text = "Los proyectos de reforma Constitucional deberán <mask> por una mayoría de tres quintos de cada una de las Cámaras."
fill_mask_span(text)
# Output: ['Los proyectos de reforma Constitucional deberán ser aprobados por una mayoría de tres quintos de cada']

📚 ドキュメント

学習の詳細

• データセット: Spanish-legal-corpora - 学習に 90%、検証に 10% を使用。
• 学習スクリプト: こちら を参照。

評価指標 🧾

ベンチマーク 🔨

WIP 🚧

📄 ライセンス

このモデルの引用方法は以下の通りです。

@misc {manuel_romero_2023,
	author       = { {Manuel Romero} },
	title        = { bart-legal-base-es (Revision c33ed22) },
	year         = 2023,
	url          = { https://huggingface.co/mrm8488/bart-legal-base-es },
	doi          = { 10.57967/hf/0472 },
	publisher    = { Hugging Face }
}

Created by Manuel Romero/@mrm8488 Made with ♥ in Spain