Reidlm

🚀 ReidLM - 罕见病领域的微调大语言模型

ReidLM 是 Meta 公司 LLaMA 3 模型的微调版本，专门针对罕见病领域进行了优化，能够生成高质量、上下文准确的回复，为医疗专业人员和研究人员提供有力支持。

🚀 快速开始

使用以下代码即可开始使用 ReidLM 模型：

import transformers
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载预训练模型和分词器
model_name = "Tanvi03/ReidLM"  
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

def generate_text(prompt, max_length=1000):
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(inputs.input_ids, max_length=max_length, num_return_sequences=1)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

prompt = "Explain MEN-1 with respect to how it affects the pituitary gland. What is the other name for this syndrome?"
generated_text = generate_text(prompt)
print(generated_text)

✨ 主要特性

• 领域针对性强：专门为罕见病领域优化，能生成该领域的高质量信息。
• 教育价值高：可作为培训医学生和专业人员了解罕见病的教育工具。

📦 安装指南

文档未提及具体安装步骤，可参考 transformers 库的官方安装方法。

💻 使用示例

基础用法

import transformers
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载预训练模型和分词器
model_name = "Tanvi03/ReidLM"  
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

def generate_text(prompt, max_length=1000):
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(inputs.input_ids, max_length=max_length, num_return_sequences=1)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

prompt = "Explain MEN-1 with respect to how it affects the pituitary gland. What is the other name for this syndrome?"
generated_text = generate_text(prompt)
print(generated_text)

📚 详细文档

模型详情

ReidLM 是 Meta 公司 LLaMA 3 模型的微调版本，利用 Evol-Instruct 方法，使用包含 400 多种罕见病的数据集进行微调。

使用范围

适用场景

ReidLM 旨在直接用于生成有洞察力和可靠的信息，以支持医疗专业人员和研究人员诊断和管理罕见病，也可作为培训医学生和专业人员了解罕见病的教育工具。

不适用场景

• 非医疗领域：ReidLM 针对罕见病信息进行了优化，在金融、法律、一般健康状况或其他非医疗领域可能表现不佳。
• 通用对话式 AI：虽然能够生成关于罕见病的详细信息，但 ReidLM 可能不适用于需要广泛理解各种主题的通用对话式 AI 任务。

偏差、风险和局限性

ReidLM 和所有大语言模型一样，存在固有的偏差和局限性，用户应注意：

• 伦理问题：存在过度依赖 AI 进行医疗决策的风险，医疗决策始终应得到医疗专业人员的验证。
• 准确性：虽然模型力求准确，但可能会生成不正确或不完整的信息，特别是在高度专业化或新颖的案例中。

训练详情

训练数据

Evol-Instruct 问答数据集链接：https://raw.githubusercontent.com/M-e-e-n-a/Synthetic-Dataset-Creation/main/combined_dataset.json

训练超参数

• num_train_epochs=3
• per_device_train_batch_size=4
• gradient_accumulation_steps=2
• optim="paged_adamw_8bit"
• save_steps=1000
• logging_steps=30
• learning_rate=2e-4
• weight_decay=0.01
• fp16=True
• max_grad_norm=1.0
• warmup_ratio=0.1

评估结果

🔧 技术细节

文档未提供足够的技术实现细节。

📄 许可证

ReidLM 使用 Llama 3 社区许可协议。