Legal Longformer Base

🚀 法律长序列模型（基础版）

这是一个基于 LexLM（基础版） RoBERTa 模型的衍生模型。所有模型参数均从原始模型克隆而来，同时，按照 Beltagy 等人（2020） 的方法，通过多次克隆原始嵌入层来扩展位置嵌入层，使用的 Python 脚本类似于这个（https://github.com/allenai/longformer/blob/master/scripts/convert_model_to_long.ipynb）。

📚 详细文档

模型描述

LexLM（基础版/大版本）是我们新发布的 RoBERTa 模型。我们在语言模型开发中遵循了一系列最佳实践：

• 我们从 Liu 等人（2019）的原始 RoBERTa 检查点（基础版或大版本）进行热启动（初始化）我们的模型。
• 我们训练了一个包含 50k 个字节对编码（BPE）的新分词器，但对于所有词汇重叠的标记，我们复用了原始嵌入层（Pfeiffer 等人，2021）。
• 我们在多样化的 LeXFiles 语料库上继续对模型进行预训练，基础版/大版本模型分别进行额外的 100 万步训练，批次大小为 512 个样本，掩码率为 20%/30%（Wettig 等人，2022）。
• 由于子语料库之间的标记比例不同，并且我们旨在保留每个语料库的容量（避免过拟合），因此我们按照 Conneau 等人（2019）的方法，使用带有子语料库采样率指数平滑的句子采样器。
• 与最近开发的所有大型预训练语言模型类似，我们考虑使用大小写混合的模型。

引用

Ilias Chalkidis*, Nicolas Garneau*, Catalina E.C. Goanta, Daniel Martin Katz, and Anders Søgaard. LeXFiles and LegalLAMA: Facilitating English Multinational Legal Language Model Development. 2022. In the Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics. Toronto, Canada.

@inproceedings{chalkidis-garneau-etal-2023-lexlms,
    title = {{LeXFiles and LegalLAMA: Facilitating English Multinational Legal Language Model Development}},
    author = "Chalkidis*, Ilias and 
              Garneau*, Nicolas and
              Goanta, Catalina and 
              Katz, Daniel Martin and 
              Søgaard, Anders",
    booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics",
    month = july,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/2305.07507",
}

📄 许可证

本模型采用 CC BY-SA 4.0 许可证。

📋 模型信息

🧪 模型演示

以下是一些使用该模型进行掩码填充任务的示例：

• "The applicant submitted that her husband was subjected to treatment amounting to whilst in the custody of police."
• "This Agreement is between General Motors and John Murray."
• "Establishing a system for the identification and registration of animals and regarding the labelling of beef and beef products."
• "Because the Court granted before judgment, the Court effectively stands in the shoes of the Court of Appeals and reviews the defendants’ appeals."