Wisdominterrogatory

🚀 智海 - 录问

智海 - 录问（wisdomInterrogatory）是一款法律大模型，由浙江大学、阿里巴巴达摩院以及华院计算三家单位联合设计研发。该模型旨在“普法共享和司法效能提升”，为法律智能化体系融入司法实践、数字化案例建设、虚拟法律咨询服务赋能等方面提供支持，构建数字化和智能化的司法基座。

🚀 快速开始

智海 - 录问是专为法律领域打造的大模型。下面将为你介绍其训练过程以及推理代码的使用方法。

✨ 主要特性

• 跨单位合作研发：由浙江大学、阿里巴巴达摩院以及华院计算三家单位共同设计研发。
• 目标明确：以“普法共享和司法效能提升”为目标，提供多方面支持，形成司法基座能力。
• 分阶段训练：基于[Baichuan - 7B](https://github.com/baichuan - inc/baichuan - 7B)进行二次预训练和指令微调训练。

📦 安装指南

推理环境安装

transformers>=4.27.1
accelerate>=0.20.1
torch>=2.0.1
modelscope>=1.8.3
sentencepiece==0.1.99

💻 使用示例

基础用法

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0"
from modelscope import AutoModelForCausalLM, AutoTokenizer, snapshot_download
import torch


model_id = "wisdomOcean/wisdomInterrogatory"
revision = 'v1.0.0'
model_dir = snapshot_download(model_id, revision)

def generate_response(prompt: str) -> str:
    inputs = tokenizer(f'</s>Human:{prompt} </s>Assistant: ', return_tensors='pt')
    inputs = inputs.to('cuda')
    pred = model.generate(**inputs, max_new_tokens=800, 
                          repetition_penalty=1.2)
    response = tokenizer.decode(pred.cpu()[0], skip_special_tokens=True)
    return response.split("Assistant: ")[1]

tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", 
                                             torch_dtype=torch.float16,
                                             trust_remote_code=True)
prompt = "如果喝了两斤白酒后开车，会有什么后果？"
resp = generate_response(prompt)
print(resp)

📚 详细文档

模型训练

二次预训练

我们的模型基座采用[Baichuan - 7B](https://github.com/baichuan - inc/baichuan - 7B)，二次预训练的目的是为通用大模型注入法律领域的知识。预训练的数据涵盖法律文书、司法案例以及法律问答数据，总量达40G。

指令微调训练

在完成二次预训练后，进入指令微调阶段。我们使用了100k的指令微调训练，旨在让大模型具备问答能力，能够直接与用户进行交流。

📄 许可证

本模型的许可证为其他（other）。

⚠️ 免责声明

本模型仅供学术研究之目的而提供，不保证结果的准确性、完整性或适用性。在使用模型生成的内容时，您应自行判断其适用性，并自担风险。