Legalbert

🚀 Legal-BERT

Legal-BERTは、法律分野向けに特別に設計されたモデルです。BERTアーキテクチャに基づき、大規模な法律事例コーパスを用いて事前学習されており、法律テキストに関連するタスク、例えば法律事例の分類や多肢選択などを効果的に処理することができます。

✨ 主な機能

• 専門的な適合：法律テキストに対してカスタマイズされた形態素解析と文分割が行われており、法律分野の自然言語処理タスクをより適切に処理することができます。
• 大規模コーパス：1965年から現在までのハーバード法律事例コーパス全体を用いて事前学習されています。コーパスの規模は37GBに達し、当初のBERTの学習に使用されたコーパスよりもはるかに大きいです。

📚 ドキュメント

モデル情報

学習目標

このモデルは、基礎となるBERTモデル（uncased、1.1億パラメータ）bert-base-uncased を初期化し、マスク言語モデル（MLM）と次文予測（NSP）の目標でさらに100万ステップの学習を行います。同時に、法律テキストに合わせて形態素解析と文分割の調整を行っています（詳細は論文を参照）。

使用方法

caseholdリポジトリ のスクリプトを参照してください。これらのスクリプトは、事前学習損失の計算をサポートし、Legal-BERTで微調整を行って、論文中に記載されている分類と多肢選択タスク（原判決の破棄、利用規約、CaseHOLD）を実行することができます。

🔧 技術詳細

このモデルの事前学習コーパスは、1965年から現在までのハーバード法律事例コーパス全体を取り込むことで構築されています。コーパスの規模は37GBで、当初のBERTの学習に使用されたBookCorpus/Wikipediaコーパス（15GB）よりも大きく、すべての連邦および州裁判所の3,446,187件の法律判決を含んでいます。モデルは基礎となるBERTモデルで初期化され、MLMとNSPの目標で追加学習を行い、法律テキストの特性に合わせて形態素解析と文分割を調整しています。

📄 引用情報

@inproceedings{zhengguha2021,
    title={When Does Pretraining Help? Assessing Self-Supervised Learning for Law and the CaseHOLD Dataset},
    author={Lucia Zheng and Neel Guha and Brandon R. Anderson and Peter Henderson and Daniel E. Ho},
    year={2021},
    eprint={2104.08671},
    archivePrefix={arXiv},
    primaryClass={cs.CL},
    booktitle={Proceedings of the 18th International Conference on Artificial Intelligence and Law},
    publisher={Association for Computing Machinery}
}

Lucia Zheng, Neel Guha, Brandon R. Anderson, Peter Henderson, and Daniel E. Ho. 2021. When Does Pretraining Help? Assessing Self-Supervised Learning for Law and the CaseHOLD Dataset. In Proceedings of the 18th International Conference on Artificial Intelligence and Law (ICAIL '21), June 21 - 25, 2021, São Paulo, Brazil. ACM Inc., New York, NY, (in press). arXiv: 2104.08671 [cs.CL].