HK O1aw

🚀 HK-O1aw (v0)

HK-O1aw是一款具备O1风格复杂推理能力的法律助手。它基于LLaMA - 3.1 - 8B（预训练版本），运用Align - Anything框架在O1aw - Dataset上进行训练。其旨在提升大语言模型在法律领域（特别是香港地区）的推理能力和复杂问题解决能力。更重要的是，HK-O1aw开源了所有训练数据、代码以及用于合成数据生成的提示词，为社区和研究人员提供了极大的便利。

🚀 快速开始

HK-O1aw是基于LLaMA - 3.1 - 8B微调的法律领域大语言模型，可用于处理各类法律问题的推理和解答。以下是使用该模型的示例代码：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "HKAIR-Lab/HK-O1aw"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

user_prompt: str = '<|reserved_special_token_0|>{input}<|reserved_special_token_1|>\n'
infer_template = user_prompt + '<|reserved_special_token_2|>\n**'

prompt = "在物业买卖过程中，业主是否有义务将租赁详情完全披露给准买家？如果未能完全披露，可能会产生哪些法律后果？"
text = infer_template.format(input=prompt) 

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

✨ 主要特性

• 复杂推理能力：具备O1风格的复杂推理能力，能深入分析法律问题。
• 开源透明：开源了所有训练数据、代码和提示词，方便社区和研究人员使用。
• 领域针对性：专注于香港地区的法律领域，能更好地处理该地区的法律问题。

📦 安装指南

暂未提供安装步骤相关内容。

💻 使用示例

基础用法

以下是使用HK-O1aw模型进行法律问题推理的基础代码示例：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "HKAIR-Lab/HK-O1aw"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

user_prompt: str = '<|reserved_special_token_0|>{input}<|reserved_special_token_1|>\n'
infer_template = user_prompt + '<|reserved_special_token_2|>\n**'

prompt = "在物业买卖过程中，业主是否有义务将租赁详情完全披露给准买家？如果未能完全披露，可能会产生哪些法律后果？"
text = infer_template.format(input=prompt) 

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

高级用法

在实际应用中，你可以根据具体需求调整模型的参数，如max_new_tokens等，以获得更好的推理结果。例如，如果你需要更长的回复，可以适当增大max_new_tokens的值：

# 高级场景说明：调整max_new_tokens参数以获得更长的回复
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "HKAIR-Lab/HK-O1aw"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

user_prompt: str = '<|reserved_special_token_0|>{input}<|reserved_special_token_1|>\n'
infer_template = user_prompt + '<|reserved_special_token_2|>\n**'

prompt = "在物业买卖过程中，业主是否有义务将租赁详情完全披露给准买家？如果未能完全披露，可能会产生哪些法律后果？"
text = infer_template.format(input=prompt) 

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# 增大max_new_tokens的值
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=1024
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

📚 详细文档

模型来源

• 仓库和数据集：https://github.com/HKAIR-Lab/HK-O1aw

模型案例

🔧 技术细节

暂未提供技术实现细节相关内容。

📄 许可证

HK-O1aw采用Apache License 2.0许可协议发布，同时你还需要同意LLAMA 3.1社区许可协议。

📖 引用说明

如果您在论文中使用了我们的数据或模型，请引用我们的工作：

@misc{HK-O1aw,
  author = {HKAIR Lab},
  title = {HK-O1aw Models: Leveraging O1 Slow Thinking in the Development of Hong Kong Legal Large Language Models},
  year = {2024},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/HKAIR-Lab/HK-O1aw}},
}