Legal Hebert

🚀 Legal-HeBERT

Legal-HeBERT是一個適用於希伯來語法律和立法領域的BERT模型，旨在推動希伯來語法律自然語言處理（NLP）研究和工具的開發。我們發佈了兩個版本的Legal-HeBERT。第一個版本是在HeBERT基礎上針對法律和立法文件進行微調的模型；第二個版本則是依據HeBERT的架構準則從頭開始訓練的BERT模型。
我們持續收集法律數據、研究不同的架構設計，並進行標註數據集和法律任務，以評估和開發希伯來語法律工具。

✨ 主要特性

• 專門為希伯來語法律和立法領域設計。
• 提供微調版和從頭訓練版兩個版本。
• 持續收集數據和優化模型，推動希伯來語法律NLP工具的發展。

📦 安裝指南

# !pip install transformers==4.14.1

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModel

model_name = 'avichr/Legal-heBERT_ft' # 用於微調後的HeBERT模型 
model_name = 'avichr/Legal-heBERT' # 用於從頭開始訓練的法律HeBERT模型

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

from transformers import pipeline
fill_mask = pipeline(
    "fill-mask",
    model=model_name,
)
fill_mask("הקורונה לקחה את [MASK] ולנו לא נשאר דבר.")

📚 詳細文檔

訓練數據

我們的訓練數據集如下：

我們感謝 Yair Gardin 提供治理數據，感謝 Elhanan Schwarts 收集和解析以色列法律全書，感謝 Jonathan Schler 收集最高法院判決書。

訓練過程

• 詞彙量大小：50,000 個詞元
• 4 個訓練週期（約 100 萬步）
• 學習率（lr）= 5e-5
• 掩碼語言模型概率（mlm_probability）= 0.15
• 批量大小 = 32（每個 GPU）
• 使用 NVIDIA GeForce RTX 2080 TI + NVIDIA GeForce RTX 3090 進行訓練，耗時 1 周

額外訓練設置：

• 微調 HeBERT 模型：凍結前八層（參考 Lee et al. (2019) 的建議）
• 從頭開始訓練的 Legal-HeBERT：訓練過程與 HeBERT 類似，受 Chalkidis et al. (2020) 啟發

📄 許可證

如果您使用了此模型，請按以下格式引用我們： Chriqui, Avihay, Yahav, Inbal 和 Bar-Siman-Tov, Ittai, Legal HeBERT: A BERT-based NLP Model for Hebrew Legal, Judicial and Legislative Texts (2022 年 6 月 27 日)。可訪問：https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4147127

@article{chriqui2021hebert,
  title={Legal HeBERT: A BERT-based NLP Model for Hebrew Legal, Judicial and Legislative Texts},
  author={Chriqui, Avihay, Yahav, Inbal and Bar-Siman-Tov, Ittai},
  journal={SSRN preprint:4147127},
  year={2022}
}

📞 聯繫我們

• Avichay Chriqui，Coller人工智能實驗室
• Inbal yahav，Coller人工智能實驗室
• Ittai Bar-Siman-Tov，巴伊蘭大學法律、數據科學與數字倫理創新實驗室

感謝您的支持，תודה，شكرا