Reidlm

🚀 ReidLM

ReidLMは、希少疾患の分野において高品質で文脈的に正確な応答を生成するために最適化された、MetaのLLaMA 3モデルのファインチューニング版です。このモデルは、Evol-Instruct手法を利用し、400以上の希少疾患のデータセットでファインチューニングされています。

🚀 クイックスタート

以下のコードを使用して、モデルを使用を開始できます。

基本的な使用法

import transformers
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# 事前学習済みモデルとトークナイザーをロード
model_name = "Tanvi03/ReidLM"  
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

def generate_text(prompt, max_length=1000):
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(inputs.input_ids, max_length=max_length, num_return_sequences=1)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

prompt = "Explain MEN-1 with respect to how it affects the pituitary gland. What is the other name for this syndrome?"
generated_text = generate_text(prompt)
print(generated_text)

✨ 主な機能

• 希少疾患情報生成：医療関係者や研究者が希少疾患の診断や管理を支援するための洞察に富んだ信頼性の高い情報を生成します。
• 教育ツール：医学生や医療専門家に希少疾患に関する教育を行うためのツールとして使用できます。

📦 インストール

このモデルは、transformersライブラリを使用して簡単にロードできます。必要な依存関係をインストールするには、以下のコマンドを実行します。

pip install transformers torch

📚 ドキュメント

モデル詳細

ReidLMは、MetaのLLaMA 3モデルをベースに、希少疾患の分野で最適化された大規模言語モデルです。

使用目的

ReidLMは、希少疾患に関する情報を生成するために設計されています。医療関係者や研究者が希少疾患の診断や管理を支援するための情報を得るために使用できます。また、医学生や医療専門家に希少疾患に関する教育を行うためのツールとしても使用できます。

適用外の用途

• 非医療分野：ReidLMは希少疾患情報に最適化されており、金融、法律、一般的な健康状態などの他の分野ではうまく機能しない可能性があります。
• 一般的な会話AI：希少疾患に関する詳細な情報を生成できますが、様々なトピックに対する幅広い理解を必要とする一般的な会話AIタスクには適していない場合があります。

バイアス、リスク、制限事項

ReidLMは、すべての大規模言語モデルと同様に、固有のバイアスと制限があります。

• 倫理的な懸念：医療判断にAIに過度に依存するリスクがあり、常に医療専門家による検証が必要です。
• 精度：モデルは精度を追求していますが、特に高度に専門化されたまたは新しいケースでは、誤ったまたは不完全な情報を生成する可能性があります。

🔧 技術詳細

トレーニングデータ

このリンクからEvol-Instructの質問と回答のデータセットを入手できます。 https://raw.githubusercontent.com/M-e-e-n-a/Synthetic-Dataset-Creation/main/combined_dataset.json

トレーニングハイパーパラメータ

• num_train_epochs = 3
• per_device_train_batch_size = 4
• gradient_accumulation_steps = 2
• optim = "paged_adamw_8bit"
• save_steps = 1000
• logging_steps = 30
• learning_rate = 2e-4
• weight_decay = 0.01
• fp16 = True
• max_grad_norm = 1.0
• warmup_ratio = 0.1

📄 ライセンス

このモデルは、Llama 3 Community License Agreementの下で提供されています。

結果

評価指標