Legal Longformer Base

🚀 法律長序列模型（基礎版）

這是一個基於 LexLM（基礎版） RoBERTa 模型的衍生模型。所有模型參數均從原始模型克隆而來，同時，按照 Beltagy 等人（2020） 的方法，通過多次克隆原始嵌入層來擴展位置嵌入層，使用的 Python 腳本類似於這個（https://github.com/allenai/longformer/blob/master/scripts/convert_model_to_long.ipynb）。

📚 詳細文檔

模型描述

LexLM（基礎版/大版本）是我們新發布的 RoBERTa 模型。我們在語言模型開發中遵循了一系列最佳實踐：

• 我們從 Liu 等人（2019）的原始 RoBERTa 檢查點（基礎版或大版本）進行熱啟動（初始化）我們的模型。
• 我們訓練了一個包含 50k 個字節對編碼（BPE）的新分詞器，但對於所有詞彙重疊的標記，我們複用了原始嵌入層（Pfeiffer 等人，2021）。
• 我們在多樣化的 LeXFiles 語料庫上繼續對模型進行預訓練，基礎版/大版本模型分別進行額外的 100 萬步訓練，批次大小為 512 個樣本，掩碼率為 20%/30%（Wettig 等人，2022）。
• 由於子語料庫之間的標記比例不同，並且我們旨在保留每個語料庫的容量（避免過擬合），因此我們按照 Conneau 等人（2019）的方法，使用帶有子語料庫採樣率指數平滑的句子採樣器。
• 與最近開發的所有大型預訓練語言模型類似，我們考慮使用大小寫混合的模型。

引用

Ilias Chalkidis*, Nicolas Garneau*, Catalina E.C. Goanta, Daniel Martin Katz, and Anders Søgaard. LeXFiles and LegalLAMA: Facilitating English Multinational Legal Language Model Development. 2022. In the Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics. Toronto, Canada.

@inproceedings{chalkidis-garneau-etal-2023-lexlms,
    title = {{LeXFiles and LegalLAMA: Facilitating English Multinational Legal Language Model Development}},
    author = "Chalkidis*, Ilias and 
              Garneau*, Nicolas and
              Goanta, Catalina and 
              Katz, Daniel Martin and 
              Søgaard, Anders",
    booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics",
    month = july,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/2305.07507",
}

📄 許可證

本模型採用 CC BY-SA 4.0 許可證。

📋 模型信息

🧪 模型演示

以下是一些使用該模型進行掩碼填充任務的示例：

• "The applicant submitted that her husband was subjected to treatment amounting to whilst in the custody of police."
• "This Agreement is between General Motors and John Murray."
• "Establishing a system for the identification and registration of animals and regarding the labelling of beef and beef products."
• "Because the Court granted before judgment, the Court effectively stands in the shoes of the Court of Appeals and reviews the defendants’ appeals."