Legal Hebert Ft

🚀 Legal - HeBERT

Legal - HeBERTは、ヘブライ語の法的および立法分野向けのBERTモデルです。このモデルは、ヘブライ語の法的自然言語処理（NLP）の研究とツール開発を向上させることを目的としています。Legal - HeBERTには2つのバージョンをリリースしています。最初のバージョンは、HeBERTを法的および立法文書に適用して微調整したモデルです。2番目のバージョンは、HeBERTのアーキテクチャガイドラインを使用して、ゼロからBERTモデルを訓練したものです。
現在も法的データの収集、様々なアーキテクチャ設計の検討、タグ付きデータセットの作成や法的タスクの実行を通じて、ヘブライ語の法的ツールの評価と開発を行っています。

✨ 主な機能

• ヘブライ語の法的および立法文書に特化したBERTモデルを提供。
• 2種類のバージョン（HeBERTの微調整版とゼロから訓練した版）を用意。
• 法的NLPの研究とツール開発の向上に貢献。

📦 インストール

# !pip install transformers==4.14.1

📚 ドキュメント

トレーニングデータ

トレーニングデータセットは以下の通りです。

ここでは、ガバナンスデータの提供に協力してくれたYair Gardin氏、イスラエルの法律書の収集と解析を行ってくれたElhanan Schwarts氏、最高裁判所の判決を収集してくれたJonathan Schler氏に感謝いたします。

トレーニングプロセス

• 語彙サイズ: 50,000トークン
• 4エポック (100万ステップ±)
• lr = 5e - 5
• mlm_probability = 0.15
• バッチサイズ = 32 (各GPU)
• NVIDIA GeForce RTX 2080 TI + NVIDIA GeForce RTX 3090を使用して1週間トレーニング

追加のトレーニング設定:

微調整したHeBERTモデル: 最初の8層は固定（Lee et al. (2019)の提案通り）
ゼロから訓練したLegal - HeBERT: トレーニングプロセスはHeBERTに似ており、Chalkidis et al. (2020)にインスパイアされています。

💻 使用例

基本的な使用法

# !pip install transformers==4.14.1
from transformers import AutoTokenizer, AutoModel

model_name = 'avichr/Legal-heBERT_ft' # for the fine-tuned HeBERT model 
model_name = 'avichr/Legal-heBERT' # for legal HeBERT model trained from scratch

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

from transformers import pipeline
fill_mask = pipeline(
    "fill-mask",
    model=model_name,
)
fill_mask("הקורונה לקחה את [MASK] ולנו לא נשאר דבר.")

🔧 技術詳細

• モデルは、ヘブライ語の法的および立法文書に特化して設計されています。
• トレーニングには、様々な法的文書データセットを使用しています。
• トレーニングプロセスでは、特定のハイパーパラメータ（語彙サイズ、エポック数、学習率など）を設定しています。

📄 ライセンス

このモデルを使用した場合は、以下のように引用してください。

Chriqui, Avihay, Yahav, Inbal and Bar - Siman - Tov, Ittai, Legal HeBERT: A BERT - based NLP Model for Hebrew Legal, Judicial and Legislative Texts (June 27, 2022). Available at: https://papers.ssrn.com/sol3/papers.cfm?abstract_id = 4147127

@article{chriqui2021hebert,
  title={Legal HeBERT: A BERT-based NLP Model for Hebrew Legal, Judicial and Legislative Texts},
  author={Chriqui, Avihay, Yahav, Inbal and Bar-Siman-Tov, Ittai},
  journal={SSRN preprint:4147127},
  year={2022}
}

📞 お問い合わせ

Avichay Chriqui, The Coller AI Lab
Inbal yahav, The Coller AI Lab
[Ittai Bar - Siman - Tov](mailto:Ittai.Bar - Siman - Tov@biu.ac.il), the BIU Innovation Lab for Law, Data - Science and Digital Ethics

ありがとうございます、תודה、شكرا