Reidlm

🚀 ReidLM - 罕見病領域的微調大語言模型

ReidLM 是 Meta 公司 LLaMA 3 模型的微調版本，專門針對罕見病領域進行了優化，能夠生成高質量、上下文準確的回覆，為醫療專業人員和研究人員提供有力支持。

🚀 快速開始

使用以下代碼即可開始使用 ReidLM 模型：

import transformers
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# 加載預訓練模型和分詞器
model_name = "Tanvi03/ReidLM"  
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

def generate_text(prompt, max_length=1000):
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(inputs.input_ids, max_length=max_length, num_return_sequences=1)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

prompt = "Explain MEN-1 with respect to how it affects the pituitary gland. What is the other name for this syndrome?"
generated_text = generate_text(prompt)
print(generated_text)

✨ 主要特性

• 領域針對性強：專門為罕見病領域優化，能生成該領域的高質量信息。
• 教育價值高：可作為培訓醫學生和專業人員瞭解罕見病的教育工具。

📦 安裝指南

文檔未提及具體安裝步驟，可參考 transformers 庫的官方安裝方法。

💻 使用示例

基礎用法

import transformers
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# 加載預訓練模型和分詞器
model_name = "Tanvi03/ReidLM"  
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

def generate_text(prompt, max_length=1000):
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(inputs.input_ids, max_length=max_length, num_return_sequences=1)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

prompt = "Explain MEN-1 with respect to how it affects the pituitary gland. What is the other name for this syndrome?"
generated_text = generate_text(prompt)
print(generated_text)

📚 詳細文檔

模型詳情

ReidLM 是 Meta 公司 LLaMA 3 模型的微調版本，利用 Evol-Instruct 方法，使用包含 400 多種罕見病的數據集進行微調。

使用範圍

適用場景

ReidLM 旨在直接用於生成有洞察力和可靠的信息，以支持醫療專業人員和研究人員診斷和管理罕見病，也可作為培訓醫學生和專業人員瞭解罕見病的教育工具。

不適用場景

• 非醫療領域：ReidLM 針對罕見病信息進行了優化，在金融、法律、一般健康狀況或其他非醫療領域可能表現不佳。
• 通用對話式 AI：雖然能夠生成關於罕見病的詳細信息，但 ReidLM 可能不適用於需要廣泛理解各種主題的通用對話式 AI 任務。

偏差、風險和侷限性

ReidLM 和所有大語言模型一樣，存在固有的偏差和侷限性，用戶應注意：

• 倫理問題：存在過度依賴 AI 進行醫療決策的風險，醫療決策始終應得到醫療專業人員的驗證。
• 準確性：雖然模型力求準確，但可能會生成不正確或不完整的信息，特別是在高度專業化或新穎的案例中。

訓練詳情

訓練數據

Evol-Instruct 問答數據集鏈接：https://raw.githubusercontent.com/M-e-e-n-a/Synthetic-Dataset-Creation/main/combined_dataset.json

訓練超參數

• num_train_epochs=3
• per_device_train_batch_size=4
• gradient_accumulation_steps=2
• optim="paged_adamw_8bit"
• save_steps=1000
• logging_steps=30
• learning_rate=2e-4
• weight_decay=0.01
• fp16=True
• max_grad_norm=1.0
• warmup_ratio=0.1

評估結果

🔧 技術細節

文檔未提供足夠的技術實現細節。

📄 許可證

ReidLM 使用 Llama 3 社區許可協議。