Legal Bert Base Uncased

🚀 法律领域预训练模型LEGAL - BERT

LEGAL - BERT是一系列用于法律领域的BERT模型，旨在助力法律自然语言处理研究、计算法学以及法律科技应用。为了对不同版本的LEGAL - BERT进行预训练，我们从多个领域（如立法、法院案例、合同）的公开资源中收集了12GB多样的英文法律文本。特定子领域的变体（如CONTRACTS - 、EURLEX - 、ECHR - ）和通用的LEGAL - BERT在特定领域任务中的表现优于直接使用BERT。此外，还有一个基于法律数据从头开始预训练的轻量级模型（大小为BERT - BASE的33%），其性能也颇具竞争力。

I. Chalkidis、M. Fergadiotis、P. Malakasiotis、N. Aletras和I. Androutsopoulos. "LEGAL - BERT: The Muppets straight out of Law School". 收录于自然语言处理经验方法研讨会（EMNLP 2020）成果集（短文），2020年线上会议. (https://aclanthology.org/2020.findings - emnlp.261)

✨ 主要特性

• 专为法律领域设计，基于多种法律文本数据预训练。
• 提供多种子领域变体和通用模型，在特定领域任务中表现出色。
• 有轻量级模型，性能有竞争力且效率更高。

📦 预训练语料

LEGAL - BERT的预训练语料包括：

• 116,062份欧盟立法文件，可从EURLEX（http://eur - lex.europa.eu）公开获取，EURLEX是由欧盟出版局运营的欧盟法律资料库。
• 61,826份英国立法文件，可从英国立法门户（http://www.legislation.gov.uk）公开获取。
• 19,867份欧洲法院（ECJ）的案例，同样可从EURLEX获取。
• 12,554份欧洲人权法院（ECHR）的案例，来自HUDOC资料库（http://hudoc.echr.coe.int/eng）。
• 164,141份美国各地法院的案例，托管于案例法访问项目门户（https://case.law）。
• 76,366份美国合同，来自美国证券交易委员会（SECOM）的EDGAR数据库（https://www.sec.gov/edgar.shtml）。

🔧 预训练细节

• 使用Google BERT的GitHub仓库（https://github.com/google - research/bert）中提供的官方代码进行训练。
• 发布了一个类似于英文BERT - BASE模型（12层、768隐藏层、12头、1.1亿参数）的模型。
• 采用相同的训练设置：100万步训练，批次大小为256，序列长度为512，初始学习率为1e - 4。
• 免费使用了由TensorFlow研究云（TFRC）提供的单个Google Cloud TPU v3 - 8，并利用了GCP研究信用额度。非常感谢Google的这两个项目对我们的支持！
• LEGAL - BERT的一部分是基于法律数据从头开始预训练的轻量级模型，其性能与较大模型相当，但效率更高（大约快4倍），并且对环境的影响更小。

📚 模型列表

* LEGAL - BERT - BASE即Chalkidis等人（2020）中提到的LEGAL - BERT - SC模型；该模型使用在相同语料上训练的句子片段分词器创建的新词汇表，在下面提到的法律语料上从头开始训练。

** 由于很多人对LEGAL - BERT - FP模型（依赖原始BERT - BASE检查点的模型）感兴趣，这些模型已在Archive.org（https://archive.org/details/legal_bert_fp）发布，因为这些模型是次要的，可能仅对那些希望深入研究Chalkidis等人（2020）中开放性问题的人有吸引力。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("nlpaueb/legal-bert-base-uncased")
model = AutoModel.from_pretrained("nlpaueb/legal-bert-base-uncased")

📚 使用LEGAL - BERT变体作为语言模型

📚 下游任务评估

参考文章 "LEGAL - BERT: The Muppets straight out of Law School" 中的实验。Chalkidis等人，2020年，(https://aclanthology.org/2020.findings - emnlp.261)

📚 作者与出版物

@inproceedings{chalkidis-etal-2020-legal,
    title = "{LEGAL}-{BERT}: The Muppets straight out of Law School",
    author = "Chalkidis, Ilias  and
      Fergadiotis, Manos  and
      Malakasiotis, Prodromos  and
      Aletras, Nikolaos  and
      Androutsopoulos, Ion",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    doi = "10.18653/v1/2020.findings-emnlp.261",
    pages = "2898--2904"
}

📚 关于我们

雅典经济与商业大学自然语言处理小组致力于开发让计算机处理和生成自然语言文本的算法、模型和系统。

该小组目前的研究兴趣包括：

• 用于数据库、本体、文档集合和网络的问答系统，特别是生物医学问答。
• 从数据库和本体，特别是语义网络本体中进行自然语言生成。
• 文本分类，包括过滤垃圾邮件和滥用内容。
• 信息提取和观点挖掘，包括法律文本分析和情感分析。
• 用于希腊语的自然语言处理工具，例如解析器和命名实体识别器。
• 自然语言处理中的机器学习，特别是深度学习。

该小组隶属于雅典经济与商业大学信息学系信息处理实验室。

Ilias Chalkidis 代表 雅典经济与商业大学自然语言处理小组

| GitHub: @ilias.chalkidis | Twitter: @KiddoThe2B |

📄 许可证

本项目采用CC - BY - SA 4.0许可证。