HK O1aw

🚀 HK-O1aw (v0)

HK-O1aw是一款具備O1風格複雜推理能力的法律助手。它基於LLaMA - 3.1 - 8B（預訓練版本），運用Align - Anything框架在O1aw - Dataset上進行訓練。其旨在提升大語言模型在法律領域（特別是香港地區）的推理能力和複雜問題解決能力。更重要的是，HK-O1aw開源了所有訓練數據、代碼以及用於合成數據生成的提示詞，為社區和研究人員提供了極大的便利。

🚀 快速開始

HK-O1aw是基於LLaMA - 3.1 - 8B微調的法律領域大語言模型，可用於處理各類法律問題的推理和解答。以下是使用該模型的示例代碼：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "HKAIR-Lab/HK-O1aw"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

user_prompt: str = '<|reserved_special_token_0|>{input}<|reserved_special_token_1|>\n'
infer_template = user_prompt + '<|reserved_special_token_2|>\n**'

prompt = "在物業買賣過程中，業主是否有義務將租賃詳情完全披露給準買家？如果未能完全披露，可能會產生哪些法律後果？"
text = infer_template.format(input=prompt) 

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

✨ 主要特性

• 複雜推理能力：具備O1風格的複雜推理能力，能深入分析法律問題。
• 開源透明：開源了所有訓練數據、代碼和提示詞，方便社區和研究人員使用。
• 領域針對性：專注於香港地區的法律領域，能更好地處理該地區的法律問題。

📦 安裝指南

暫未提供安裝步驟相關內容。

💻 使用示例

基礎用法

以下是使用HK-O1aw模型進行法律問題推理的基礎代碼示例：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "HKAIR-Lab/HK-O1aw"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

user_prompt: str = '<|reserved_special_token_0|>{input}<|reserved_special_token_1|>\n'
infer_template = user_prompt + '<|reserved_special_token_2|>\n**'

prompt = "在物業買賣過程中，業主是否有義務將租賃詳情完全披露給準買家？如果未能完全披露，可能會產生哪些法律後果？"
text = infer_template.format(input=prompt) 

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

高級用法

在實際應用中，你可以根據具體需求調整模型的參數，如max_new_tokens等，以獲得更好的推理結果。例如，如果你需要更長的回覆，可以適當增大max_new_tokens的值：

# 高級場景說明：調整max_new_tokens參數以獲得更長的回覆
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "HKAIR-Lab/HK-O1aw"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

user_prompt: str = '<|reserved_special_token_0|>{input}<|reserved_special_token_1|>\n'
infer_template = user_prompt + '<|reserved_special_token_2|>\n**'

prompt = "在物業買賣過程中，業主是否有義務將租賃詳情完全披露給準買家？如果未能完全披露，可能會產生哪些法律後果？"
text = infer_template.format(input=prompt) 

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# 增大max_new_tokens的值
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=1024
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

📚 詳細文檔

模型來源

• 倉庫和數據集：https://github.com/HKAIR-Lab/HK-O1aw

模型案例

🔧 技術細節

暫未提供技術實現細節相關內容。

📄 許可證

HK-O1aw採用Apache License 2.0許可協議發佈，同時你還需要同意LLAMA 3.1社區許可協議。

📖 引用說明

如果您在論文中使用了我們的數據或模型，請引用我們的工作：

@misc{HK-O1aw,
  author = {HKAIR Lab},
  title = {HK-O1aw Models: Leveraging O1 Slow Thinking in the Development of Hong Kong Legal Large Language Models},
  year = {2024},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/HKAIR-Lab/HK-O1aw}},
}