Legal Bert Base Uncased

🚀 法律領域預訓練模型LEGAL - BERT

LEGAL - BERT是一系列用於法律領域的BERT模型，旨在助力法律自然語言處理研究、計算法學以及法律科技應用。為了對不同版本的LEGAL - BERT進行預訓練，我們從多個領域（如立法、法院案例、合同）的公開資源中收集了12GB多樣的英文法律文本。特定子領域的變體（如CONTRACTS - 、EURLEX - 、ECHR - ）和通用的LEGAL - BERT在特定領域任務中的表現優於直接使用BERT。此外，還有一個基於法律數據從頭開始預訓練的輕量級模型（大小為BERT - BASE的33%），其性能也頗具競爭力。

I. Chalkidis、M. Fergadiotis、P. Malakasiotis、N. Aletras和I. Androutsopoulos. "LEGAL - BERT: The Muppets straight out of Law School". 收錄於自然語言處理經驗方法研討會（EMNLP 2020）成果集（短文），2020年線上會議. (https://aclanthology.org/2020.findings - emnlp.261)

✨ 主要特性

• 專為法律領域設計，基於多種法律文本數據預訓練。
• 提供多種子領域變體和通用模型，在特定領域任務中表現出色。
• 有輕量級模型，性能有競爭力且效率更高。

📦 預訓練語料

LEGAL - BERT的預訓練語料包括：

• 116,062份歐盟立法文件，可從EURLEX（http://eur - lex.europa.eu）公開獲取，EURLEX是由歐盟出版局運營的歐盟法律資料庫。
• 61,826份英國立法文件，可從英國立法門戶（http://www.legislation.gov.uk）公開獲取。
• 19,867份歐洲法院（ECJ）的案例，同樣可從EURLEX獲取。
• 12,554份歐洲人權法院（ECHR）的案例，來自HUDOC資料庫（http://hudoc.echr.coe.int/eng）。
• 164,141份美國各地法院的案例，託管於案例法訪問項目門戶（https://case.law）。
• 76,366份美國合同，來自美國證券交易委員會（SECOM）的EDGAR數據庫（https://www.sec.gov/edgar.shtml）。

🔧 預訓練細節

• 使用Google BERT的GitHub倉庫（https://github.com/google - research/bert）中提供的官方代碼進行訓練。
• 發佈了一個類似於英文BERT - BASE模型（12層、768隱藏層、12頭、1.1億參數）的模型。
• 採用相同的訓練設置：100萬步訓練，批次大小為256，序列長度為512，初始學習率為1e - 4。
• 免費使用了由TensorFlow研究雲（TFRC）提供的單個Google Cloud TPU v3 - 8，並利用了GCP研究信用額度。非常感謝Google的這兩個項目對我們的支持！
• LEGAL - BERT的一部分是基於法律數據從頭開始預訓練的輕量級模型，其性能與較大模型相當，但效率更高（大約快4倍），並且對環境的影響更小。

📚 模型列表

* LEGAL - BERT - BASE即Chalkidis等人（2020）中提到的LEGAL - BERT - SC模型；該模型使用在相同語料上訓練的句子片段分詞器創建的新詞彙表，在下面提到的法律語料上從頭開始訓練。

** 由於很多人對LEGAL - BERT - FP模型（依賴原始BERT - BASE檢查點的模型）感興趣，這些模型已在Archive.org（https://archive.org/details/legal_bert_fp）發佈，因為這些模型是次要的，可能僅對那些希望深入研究Chalkidis等人（2020）中開放性問題的人有吸引力。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("nlpaueb/legal-bert-base-uncased")
model = AutoModel.from_pretrained("nlpaueb/legal-bert-base-uncased")

📚 使用LEGAL - BERT變體作為語言模型

📚 下游任務評估

參考文章 "LEGAL - BERT: The Muppets straight out of Law School" 中的實驗。Chalkidis等人，2020年，(https://aclanthology.org/2020.findings - emnlp.261)

📚 作者與出版物

@inproceedings{chalkidis-etal-2020-legal,
    title = "{LEGAL}-{BERT}: The Muppets straight out of Law School",
    author = "Chalkidis, Ilias  and
      Fergadiotis, Manos  and
      Malakasiotis, Prodromos  and
      Aletras, Nikolaos  and
      Androutsopoulos, Ion",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    doi = "10.18653/v1/2020.findings-emnlp.261",
    pages = "2898--2904"
}

📚 關於我們

雅典經濟與商業大學自然語言處理小組致力於開發讓計算機處理和生成自然語言文本的算法、模型和系統。

該小組目前的研究興趣包括：

• 用於數據庫、本體、文檔集合和網絡的問答系統，特別是生物醫學問答。
• 從數據庫和本體，特別是語義網絡本體中進行自然語言生成。
• 文本分類，包括過濾垃圾郵件和濫用內容。
• 信息提取和觀點挖掘，包括法律文本分析和情感分析。
• 用於希臘語的自然語言處理工具，例如解析器和命名實體識別器。
• 自然語言處理中的機器學習，特別是深度學習。

該小組隸屬於雅典經濟與商業大學信息學系信息處理實驗室。

Ilias Chalkidis 代表 雅典經濟與商業大學自然語言處理小組

| GitHub: @ilias.chalkidis | Twitter: @KiddoThe2B |

📄 許可證

本項目採用CC - BY - SA 4.0許可證。