Saullm 54B Instruct

🚀 SaulLM-54B-Instruct模型介紹

SaulLM-54B-Instruct是一款專為法律領域打造的先進語言模型。它由Equall與巴黎薩克雷大學（CentraleSupélec）的MICS合作開發，旨在推動法律工作專用大語言模型的發展。該模型基於美國和歐洲法律數據庫的數據進行預訓練和微調，擁有540億參數。

⚠️ 重要提示

本模型僅用於研究目的，請謹慎使用。

✨ 主要特性

• 專為法律領域設計：專注於法律任務，利用美國和歐洲法律數據庫的數據進行預訓練和微調。
• 多機構合作開發：由Equall和巴黎薩克雷大學（CentraleSupélec）的MICS共同開發。
• 參數規模大：擁有540億參數，具備強大的語言處理能力。

📚 詳細文檔

模型詳情

模型描述

SaulLM-54B-Instruct 是一款專門為法律領域設計的先進語言模型。它由Equall與巴黎薩克雷大學（CentraleSupélec）的MICS合作開發，旨在推動法律工作專用大語言模型的發展。

• 開發者：Equall和巴黎薩克雷大學（CentraleSupélec）的MICS
• 模型類型：一個擁有540億參數的模型，針對法律任務進行了預訓練和微調，利用了美國和歐洲法律數據庫的數據。
• 支持語言：英語
• 許可證：MIT許可證
• 微調基礎模型：基於Equall開發的基礎模型，依賴於Mixtral模型的持續預訓練。

預期用途與侷限性

預期用途

SaulLM-54B-Instruct旨在支持進一步的研究，並適用於各種法律用例。

侷限性

模型提供的信息僅用於參考，不能被解釋為法律建議。此外，由於SaulLM-54B-Instruct主要針對美國和歐洲法律體系進行訓練，在其他司法管轄區的法律體系中可能表現不佳。

偏差、風險和倫理考量

偏差和風險

儘管採取了措施來減輕偏差，但SaulLM-54B仍可能表現出訓練數據中固有的偏差，或者提供不準確的響應。模型是基於特定時間點的信息進行訓練的，無法考慮到所有最新的法律發展。用戶在使用模型輸出時應謹慎，並進行批判性評估，特別是在敏感的法律案件中。基於信息做出決策的責任在於用戶，而不是模型或其開發者。建議用戶在需要法律建議時尋求合格法律專業人員的幫助。

倫理考量

用戶必須負責任地使用SaulLM-54B，確保模型不會以違反法律或侵犯他人權利的方式被濫用。特別是，模型不得用於生成有害內容、傳播錯誤信息或侵犯隱私或知識產權。

技術細節

訓練數據

SaulLM-54B在一個豐富的數據集上進行訓練，該數據集包括歐洲和美國的法律文本、法院裁決和立法文件。

引用信息

如需在您的工作中引用SaulLM-54B，請引用此模型卡片。

@misc{colombo2024saullm54bsaullm141bscaling,
      title={SaulLM-54B & SaulLM-141B: Scaling Up Domain Adaptation for the Legal Domain}, 
      author={Pierre Colombo and Telmo Pires and Malik Boudiaf and Rui Melo and Dominic Culver and Sofia Morgado and Etienne Malaboeuf and Gabriel Hautreux and Johanne Charpentier and Michael Desa},
      year={2024},
      eprint={2407.19584},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.19584}, 
}

信息表格