Legal Hebert

🚀 Legal-HeBERT

Legal-HeBERTは、ヘブライ語の法的および立法分野向けのBERTモデルです。このモデルは、ヘブライ語における法的自然言語処理（NLP）の研究とツール開発を向上させることを目的としています。Legal-HeBERTには2つのバージョンを公開しています。1つ目は、HeBERTを法的および立法文書に適用して微調整したモデルです。2つ目は、HeBERTのアーキテクチャガイドラインを使用して、ゼロからBERTモデルを訓練したものです。
現在も法的データの収集、様々なアーキテクチャ設計の検討、ヘブライ語の法的ツールの評価と開発のためのタグ付きデータセットと法的タスクの実行を続けています。

📦 インストール

モデルはHugging Face Hubで見つけることができ、任意の下流タスクに微調整することができます。

# !pip install transformers==4.14.1
from transformers import AutoTokenizer, AutoModel

model_name = 'avichr/Legal-heBERT_ft' # 微調整されたHeBERTモデル用
model_name = 'avichr/Legal-heBERT' # ゼロから訓練されたLegal-HeBERTモデル用

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

from transformers import pipeline
fill_mask = pipeline(
    "fill-mask",
    model=model_name,
)
fill_mask("הקורונה לקחה את [MASK] ולנו לא נשאר דבר.")

📚 ドキュメント

トレーニングデータ

トレーニングデータセットは以下の通りです。

ここでは、ガバナンスデータの提供に協力してくれたYair Gardin、イスラエルの法律書の収集と解析を行ってくれたElhanan Schwarts、最高裁判所の判決を収集してくれたJonathan Schlerに感謝申し上げます。

トレーニングプロセス

• 語彙サイズ: 50,000トークン
• 4エポック (約100万ステップ)
• 学習率 (lr)=5e-5
• マスク言語モデルの確率 (mlm_probability)=0.15
• バッチサイズ = 32 (各GPUにつき)
• NVIDIA GeForce RTX 2080 TI + NVIDIA GeForce RTX 3090 (1週間のトレーニング)

追加のトレーニング設定:

微調整されたHeBERTモデル: 最初の8層は固定されました（Lee et al. (2019)の提案通り）
ゼロから訓練されたLegal-HeBERT: トレーニングプロセスはHeBERTに似ており、Chalkidis et al. (2020)にインスパイアされています。

📄 ライセンス

モデルを使用した場合は、以下のように引用してください。 Chriqui, Avihay, Yahav, Inbal and Bar-Siman-Tov, Ittai, Legal HeBERT: A BERT-based NLP Model for Hebrew Legal, Judicial and Legislative Texts (June 27, 2022). 入手先: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4147127

@article{chriqui2021hebert,
  title={Legal HeBERT: A BERT-based NLP Model for Hebrew Legal, Judicial and Legislative Texts},
  author={Chriqui, Avihay, Yahav, Inbal and Bar-Siman-Tov, Ittai},
  journal={SSRN preprint:4147127},
  year={2022}
}

🔧 お問い合わせ

Avichay Chriqui, The Coller AI Lab
Inbal yahav, The Coller AI Lab
Ittai Bar-Siman-Tov, the BIU Innovation Lab for Law, Data-Science and Digital Ethics

ありがとう、תודה、شكرا