Legal Bert Dutch English

🚀 適用於荷蘭語和英語的法律BERT模型

這是一個基於mBERT在法律文檔上進行進一步訓練的BERT模型。相關論文可在此處下載。

✨ 主要特性

• 多語言支持：支持荷蘭語和英語兩種語言，適用於處理這兩種語言的法律文本。
• 基於預訓練模型：在mBERT的基礎上進行進一步訓練，利用了預訓練模型的優勢。

📦 安裝指南

本模型可通過transformers庫進行加載，以下是安裝和使用的示例代碼：

from transformers import AutoTokenizer, AutoModel, TFAutoModel
tokenizer = AutoTokenizer.from_pretrained("Gerwin/legal-bert-dutch-english")
model = AutoModel.from_pretrained("Gerwin/legal-bert-dutch-english")  # PyTorch
model = TFAutoModel.from_pretrained("Gerwin/legal-bert-dutch-english")  # TensorFlow

📚 詳細文檔

數據

該模型的進一步訓練方式與EurlexBERT相同：收集了荷蘭語和英語的法規、決定、指令和議會問題等文檔。總共使用了18.4萬份文檔，約2.95億個單詞來進一步訓練該模型，這不到原始BERT模型訓練數據規模的9%。 進一步訓練進行了6萬步，因為與10萬步的檢查點（原始BERT論文中建議的步數）相比，6萬步顯示出更好的效果。使用超過10萬步的訓練並沒有帶來更多的益處。

基準測試

以下是一些流行的BERT模型與本模型的對比。這些基準測試的微調過程對於每個預訓練模型都是相同的，論文中對這些過程有更詳細的解釋。你可以通過優化微調過程為個別模型獲得更高的分數。表格顯示了加權F1分數。

法律主題分類

多類別分類（荷蘭合作銀行數據集）

該數據集並非開源數據集，但它仍然是一個有趣的案例，因為該數據集包含了需要進行分類的荷蘭語和英語法律文檔。該數據集由8000份長法律文檔（2000份荷蘭語文檔和6000份英語文檔）組成，共有30個類別。使用荷蘭語和英語BERT模型的組合架構並沒有帶來更好的效果，因為兩種語言的文檔可能屬於同一類別。

📄 許可證

本項目採用Apache-2.0許可證。