Berturk Legal

🚀 BERTurk-Legal

BERTurk-Legalは、Transformerベースの言語モデルで、過去の法的事例を検索するために開発されました。このモデルは、トルコの法的ドメインのデータセットで事前学習されており、過去の裁判事例検索タスクに関連するラベルを含まないデータで学習されています。マスク言語モデリングを用いて自己教師付き学習で訓練され、ゼロショット分類により、トルコ最高裁判所の法的事例からなるデータセットで最先端の結果を提供します。実験結果は、トルコの法的ドメインに特化した言語モデルの開発の必要性を示しています。BERTurk-Legalの詳細は、以下の引用セクションで言及されている論文で確認できます。

🚀 クイックスタート

テストデータセットは以下のリンクからアクセスできます：https://github.com/koc-lab/yargitay_retrieval_dataset

モデルをロードして、文書埋め込みを作成することができます。その後、文書埋め込みを検索に利用することができます。

基本的な使用法

# 元のコードとコメントを保持
from transformers import AutoModelForSequenceClassification, AutoTokenizer

bert_model = "KocLab-Bilkent/BERTurk-Legal"

model = AutoModelForSequenceClassification.from_pretrained(bert_model, output_hidden_states=True)
tokenizer = AutoTokenizer.from_pretrained(bert_model)

tokens = tokenizer("Örnek metin") # a dummy text is provided as input

output = model(tokens) 
docEmbeddings = output.hidden_states[-1]

✨ 主な機能

• 法的事例検索：トルコの法的ドメインに特化した言語モデルで、過去の法的事例を検索することができます。
• ゼロショット分類：事前学習されたモデルを用いて、新しいクラスに対する分類を行うことができます。
• 最先端の性能：トルコ最高裁判所の法的事例からなるデータセットで最先端の結果を提供します。

📦 インストール

このモデルはtransformersライブラリを使用しています。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

🔧 技術詳細

BERTurk-Legalは、Transformerベースの言語モデルで、マスク言語モデリングを用いて自己教師付き学習で訓練されています。このモデルは、トルコの法的ドメインのデータセットで事前学習されており、過去の裁判事例検索タスクに関連するラベルを含まないデータで学習されています。ゼロショット分類により、トルコ最高裁判所の法的事例からなるデータセットで最先端の結果を提供します。

📄 引用

もしこのモデルを使用する場合は、以下の会議論文を引用してください。

  @inproceedings{ozturk23berturkLegal,
    author={\"{O}zt\"{u}rk, Ceyhun E. and \"{O}z\c{c}elik, {\c{S}}. Bar{\i}\c{s} and Aykut Ko\c{c}},
    booktitle={2023 31st Signal Processing and Communications Applications Conference (SIU)}, 
    title={{A Transformer-Based Prior Legal Case Retrieval Method}}, 
    year={2023},
    volume={},
    number={},
    pages={1-4}
  }
  @mastersthesis{ozturk23legalNlp,
  author  = "\"{O}zt\"{u}rk, Ceyhun E.",
  title   = "Retrieving Turkish Prior Legal Cases with Deep Learning",
  school  = "Bilkent University",
  year    = "2023"
  }