Diabetica 7B

🚀 Diabetica-7B

Diabeticaは、糖尿病のケアと管理における複数の医療タスクを強化するために大規模言語モデルを適応させたものです。このモデルは、糖尿病関連の様々なタスクを効果的に処理することができます。

コード | 論文 | データセット

🚀 クイックスタート

このセクションでは、Diabetica-7Bについての概要と、その特徴について説明します。

概要

こんにちは！ Diabetica のHugging Faceリポジトリへようこそ。

当研究では、様々な糖尿病タスクを処理できる専用の大規模言語モデル（LLM）を開発するための再現可能なフレームワークを導入しました。以下の3つの主要な貢献を紹介します。

• 高性能なドメイン固有モデル：従来の汎用LLMと比較して、当モデルのDiabeticaは、診断、治療提案、薬物管理、生活習慣アドバイス、患者教育など、幅広い糖尿病関連タスクで優れた性能を示しました。
• 再現可能なフレームワーク：オープンソースモデル、特定の疾患データセット、および微調整技術を使用して、専用の医療LLMを作成する詳細な方法を提供しました。このアプローチは他の医療分野にも適用可能で、AI支援ケアの開発を加速する可能性があります。
• 包括的な評価：包括的なベンチマークを設計し、臨床試験を実施して、臨床応用におけるモデルの有効性を検証しました。これにより、当モデルの実用性を保証し、糖尿病ケアにおけるAIツールの評価に新たな基準を設定しました。

詳細については、GitHubリポジトリ を参照してください。

✨ 主な機能

• 多様な糖尿病タスク対応：診断、治療提案、薬物管理、生活習慣アドバイス、患者教育など、幅広い糖尿病関連タスクを処理できます。
• 高性能：従来の汎用LLMと比較して、優れた性能を示します。
• 再現可能なフレームワーク：専用の医療LLMを作成するための詳細な方法を提供します。
• 包括的な評価：臨床応用におけるモデルの有効性を検証します。

📦 インストール

このセクションでは、モデルの推論に必要なコードを紹介します。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

device = "cuda" # the device to load the model onto
model_path = 'WaltonFuture/Diabetica-7B'

model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_path)

def model_output(content):
    messages = [
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": content}
    ]
    text = tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
    )
    model_inputs = tokenizer([text], return_tensors="pt").to(device)
    generated_ids = model.generate(
        model_inputs.input_ids,
        max_new_tokens=2048,
        do_sample=True,
    )
    generated_ids = [
        output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
    ]
    response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
    return response

prompt = "Hello! Please tell me something about diabetes."

response = model_output(prompt)
print(response)

📚 ドキュメント

引用

@article{wei2024adapted,
  title={An adapted large language model facilitates multiple medical tasks in diabetes care},
  author={Wei, Lai and Ying, Zhen and He, Muyang and Chen, Yutong and Yang, Qian and Hong, Yanzhe and Lu, Jiaping and Li, Xiaoying and Huang, Weiran and Chen, Ying},
  journal={arXiv preprint arXiv:2409.13191},
  year={2024}
}

モデル情報