Llama3.2 3B Instruct Legal Summarization

🚀 法律案例總結器：微調版LLaMA - 3.2 - 3B - Instruct

本模型是Meta公司LLaMA - 3.2 - 3B - Instruct的微調版本，專門針對法律案例總結進行了優化，具備雙語（阿拉伯語 - 英語）處理能力。它能夠生成結構化的JSON格式法律案例總結，其中鍵為英文，值為阿拉伯語。

✨ 主要特性

• 生成結構化的JSON格式法律案例總結。
• 有效處理雙語內容，鍵為英文，值為阿拉伯語。
• 系統地提取關鍵法律信息。
• 保持一致的格式。

📦 安裝指南

文檔未提供安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "ahmadsakor/Llama3.2-3B-Instruct-Legal-Summarization"

# Set the device map based on GPU availability
device_map = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if torch.cuda.is_available() else torch.float32

# Load model and tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_id)

tokenizer.pad_token = tokenizer.eos_token  # Use EOS token as padding token
tokenizer.padding_side = 'left'  # Left padding for batch alignment


# Load the model with the appropriate dtype and device mapping
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype,
    device_map=device_map
)

# Create the text generation pipeline
pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    torch_dtype=dtype,
    device_map=device_map
)

# System prompt for the AI assistant's task
system_prompt = """
You are a legal assistant AI that summarizes legal cases in JSON format following a specific template. 
Please ensure all outputs are structured and all keys are in English while the values are in Arabic. 
Be concise, informative, and follow the template strictly.
"""

# Template prompt for the legal text summary
template_prompt="""
###
Legal Text Summary Template
1. Case Information

Case Number: [Insert case number]
Date of Ruling: [Insert date of ruling]
Court: [Insert court name]
Main Case Topic: [Mention the main topic of the case]
Parties Involved: [Insert names of parties]

2. Persons involved including their:
 [List the Persons in the text including their roles in a structured format (Name, Role)]

3. Background of the Case

Overview: [Briefly describe the nature of the case and context]
List of Relevant Dates with corresponding events in Arabic (Date, Event).


4. Key Issues

[List the main legal issues or disputes in the case]

5. Arguments Presented

Claimant’s Arguments:
[Summarize the arguments made by the claimant]
Defendant’s Arguments:
[Summarize the arguments made by the defendant]

6. Court's Findings

Evidence Reviewed: [Mention the evidence the court relied on]
Rulings Made: [Summarize the rulings made by the court]
Legal Principles Applied: [List any relevant legal principles or statutes cited]

7. Outcome

Final Decision: [Describe the court's final decision]
Implications: [Discuss any implications of the ruling]

8. Additional Notes

[Any additional observations or relevant information that should be noted]
#####
Example of output json format:
{
  "case_information": {
    "case_number": "",
    "date_of_ruling": "",
    "court": "",
    "main_case_topic": "",
    "parties_involved": ""
  },
  "persons_involved": [
    {
      "name": "",
      "role": ""
    }
  ],
  "background_of_the_case": {
    "overview": "",
    "relevant_dates": [
      {
        "date": "",
        "event": ""
      }
    ]
  },
  "key_issues": [
  ],
  "arguments_presented": {
    "claimants_arguments": "",
    "defendants_arguments": ""
  },
  "courts_findings": {
    "evidence_reviewed": "",
    "rulings_made": "",
    "legal_principles_applied": [
    ]
  },
  "outcome": {
    "final_decision": "",
    "implications": ""
  },
  "additional_notes": {
    "observations": ""
  }
}
###
Input:\n
"""

full_text = "قرار محكمة النقض رقم 1530 بتاريخ 17 نوفمبر 2022 في القضية الجنحية رقم 20201162213 استئناف - عدم أداء القسط الجزافي - أثره. لم يظهر من وثائق الملف ما يفيد أداء القسط الجزافي أثناء المرحلة الاستئنافية، فإن المحكمة لما رتبت على ذلك عدم قبول الاستئناف تكون قد طبقت القانون تطبيقاً سليماً وأن ما أثير بهذا الخصوص يبقى غير مؤسس. رفض الطلب باسم الطاعن وفق تصريح أفضى به بواسطة الأستاذ (ه.ب) بتاريخ 17. تم استئناف القضية المرفوعة أمام المحكمة الابتدائية بتازة والرامي إلى نقض القرار الصادر عن غرفة الاستئناف، في القضية ذات العدد 7 القاضي بإلغاء الحكم الابتدائي بشأن تعويض مدني قدره 4500 درهم بعد مؤاخذة المطلوبين في النقض (ع-ر١) و(م.1) من أجل جنحة انتزاع عقار بمنزاله الغير والحكم على كل واحد منهم بشهر واحد حبسا موقوف التنفيذ وغرامة نافذة قدرها 500 درهم. إن محكمة النقض، بعد أن تلا المستشار السيد المحفوظ سندالي التقرير المكلف به في القضية، وبعد الإنصات إلى المحامي العام السيد محمد جعبة في مستنتجاته، وبعد المداولة طبقاً للقانون. نظراً للمذكرة المدلى بها من لدن الطاعن بواسطة الأستاذ (ع.) المحامي بمدينة مكناس والمقبول للترافع أمام محكمة النقض والمستوفية للشروط الشكلية المتطلبة قانوناً. في شأن وسيلتي النقض مجتمعتين المستدل بها على النقض والمتخذتين في مجموعها من حرق مقتضيات الفقرة السابعة من المادة 365 من قانون المسطرة الجنائية ونقصان التعليل المنزلي معللاً، حيث انعدامه ذلك أن المحكمة مصدرة القرار المطعون فيه حالفت مقتضيات المادة أعلاه عندما لم تعمل على استدعاء الشاهد (ل.ط) المستمع إليه الوحيد ابتدائياً بعد صرف باقي الشهود الحاضرين من القاعة، والذين لم يتم الاستماع إليهم بدون توضيح السبب في ذلك. كما أن القرار موضوع النقض عندما قضى بعدم قبول استئناف العارض بعلة عدم أداء القسط الجزافي، فإنه استند على علة مخالفة للقانون بحيث إن العارض أدى القسط الجزافي أمامها. كما أن المحكمة باقتصارها على تبني النقاش الذي راج أمام محكمة البداية دون إتمامها بأي إجراء من إجراءات التحقيق للتأكد من صحة المعطيات المستقاة ابتدائياً والتي مكنت من بلوغ النتيجة التي وصلت إليها. علماً أن التقاضي هو على مستوى درجتين قانونيتين، كما أن المحكمة عندما اعتبرت تصريح الشاهد (ل.ط) بمثابة إقرار بمفهوم المخالفة على عدم ثبوت الحيازة علماً أنها لم تستمع إليه أمامها حتى تتمكن من بسط رقابتها على تصريحاته والبحث في باقي أوجه التصرف والاستغلال التي دفع بها العارض والتأكد والتدقيق في الحيازة المادية المطلوبة، وهو ما يجعلها مخالفة لمقتضيات الفصل 570 من القانون الجنائي، ما يكون معه القرار في مجمله على غير أساس وعرضة للنقض والإبطال. لكن حيث من جهة أولى فإنه ينفي في الملف ما يفيد أداء القسط الجنائي أثناء المرحلة الاستئنافية، فإن المحكمة لما رتبت على عدم قبول الاستئناف، تكون قد طبقت القانون تطبيقاً سليماً وأن ما أثير بهذا الخصوص يبقى غير مقبول. المحكمة النقض لصالحها برفض الطلب ورد مبلغ الضمانة لمودعه بعد استخلاص المصاريف القضائية. وبه صدر القرار وتلي في الجلسة العلنية المنعقدة بالتاريخ المذكور أعلاه بقاعة الجلسات العادية بمحكمة النقض الكائنة بشارع النخيل حي الرياض بالرباط، وكانت الهيئة الحاكمة متركبة من السادة: عبد الحكيم إدريسي قيطون رئيساً والمستشارين: المحفوظ سندالي مقرراً والمصطفى بارز ومحمد الغزاوي وفتيحة غزال، وبحضور المحامي العام السيد محمد جعبة الذي كان يمثل النيابة العامة وعاونه كاتبة الضبط السيدة سعاد عزيزي."
user_part = template_prompt + '\n' + full_text
prompt = (
    f"<|start_header_id|>system<|end_header_id|>\n{system_prompt}\n"
    f"<|start_header_id|>user<|end_header_id|>\n{user_part}\n"
    f"<|start_header_id|>assistant<|end_header_id|>\n"
)

# Generate the summary using the pipeline
generated_outputs = pipe(
    prompt,
    max_new_tokens=1500,  # Limit the number of tokens in the output
    num_return_sequences=1,  # Return a single sequence
    pad_token_id=pipe.tokenizer.eos_token_id,
    padding=True,
    return_full_text=False,
)

print (generated_outputs[0]["generated_text"])

高級用法

文檔未提供高級用法示例，故跳過此部分。

📚 詳細文檔

模型詳情

預期用途

本模型旨在：

• 以結構化的JSON格式總結法律案例。
• 從法律文件中提取關鍵信息。
• 生成雙語總結（阿拉伯語內容，英語結構）。
• 支持法律研究和文件分析。

訓練詳情

訓練數據

該模型在一個專門的法律案例數據集上進行訓練，每個示例遵循結構化格式，包括：

• 案件信息（編號、日期、法院）
• 涉案人員
• 案件背景
• 關鍵問題
• 提出的論點
• 法院調查結果
• 結果
• 附加說明

訓練過程

• 微調方法：LoRA（低秩自適應）
• LoRA配置：
  • 秩：64
  • 阿爾法：16
  • 目標模塊：注意力層（q_proj、k_proj、v_proj、o_proj、gate_proj、up_proj、down_proj）
  • 丟棄率：0.05

訓練超參數

{
    "per_device_train_batch_size": 1,
    "gradient_accumulation_steps": 32,
    "num_train_epochs": 3,
    "learning_rate": 2e-4,
    "bf16": true,
    "max_seq_length": 10500,
    "evaluation_strategy": "steps",
    "eval_steps": 500,
    "save_steps": 500
}

性能與侷限性

優勢

• 生成結構良好的JSON總結。
• 有效處理雙語內容。
• 保持一致的格式。
• 系統地提取關鍵法律信息。

侷限性

• 最大輸入長度：10500個標記。
• 僅限於阿拉伯語 - 英語法律內容。
• 需要遵循模板的格式良好的輸入。
• 可能無法處理其訓練領域之外的複雜法律術語。

示例輸出

{
  "case_information": {
    "case_number": "حالة رقم ١٢٣٤",
    "date_of_ruling": "٢٠٢٣/٠١/١٥",
    "court": "المحكمة العليا",
    "main_case_topic": "نزاع تجاري",
    "parties_involved": "شركة أ ضد شركة ب"
  },
  "persons_involved": [
    {
      "name": "محمد أحمد",
      "role": "المدعي"
    }
  ],
  "background_of_the_case": {
    "overview": "نزاع تجاري حول عقد توريد..."
  }
  // Additional fields omitted for brevity
}

🔧 技術細節

文檔未提供足夠的技術實現細節（少於50字），故跳過此章節。

📄 許可證

本模型的許可證為llama3.2。

聯繫我們

若對該模型有疑問或反饋，請在Hugging Face上的模型倉庫中創建一個問題。

致謝

本模型使用以下工具進行微調：

• 🤗 Transformers
• DeepSpeed
• PEFT（參數高效微調）
• Weights & Biases用於實驗跟蹤
• 摩洛哥司法門戶 提供法律案例訪問權限
• Meta AI提供基礎LLaMA模型。