Asclepius Llama3 8B

🚀 Asclepius-Llama3-8B モデルカード

このモデルは、Asclepius-Llama3-8Bの公式モデルチェックポイントです (arxiv)。Asclepius-7Bの拡張版で、ベースモデルをLlama-3に置き換え、最大シーケンス長を8192に拡張しています。

🚀 クイックスタート

prompt = """You are an intelligent clinical languge model.
Below is a snippet of patient's discharge summary and a following instruction from healthcare professional.
Write a response that appropriately completes the instruction.
The response should provide the accurate answer to the instruction, while being concise.

[Discharge Summary Begin]
{note}
[Discharge Summary End]

[Instruction Begin]
{question}
[Instruction End] 
"""

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("starmpcc/Asclepius-Llama3-8B", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("starmpcc/Asclepius-Llama3-8B")

note = "This is a sample note"
question = "What is the diagnosis?"

model_input = prompt.format(note=note, question=question)
input_ids = tokenizer(model_input, return_tensors="pt").input_ids
output = model.generate(input_ids)
print(tokenizer.decode(output[0]))

✨ 主な機能

このモデルは、臨床ノートを用いて以下の8つの臨床NLPタスクを実行できます。

• 固有表現抽出 (Named Entity Recognition)
• 略語展開 (Abbreviation Expansion)
• 関係抽出 (Relation Extraction)
• 時間情報抽出 (Temporal Information Extraction)
• 照応解析 (Coreference Resolution)
• 言い換え (Paraphrasing)
• 要約 (Summarization)
• 質問応答 (Question Answering)

📦 インストール

READMEに具体的なインストール手順が記載されていないため、このセクションをスキップします。

📚 ドキュメント

モデル詳細

モデル説明

モデルソース

• リポジトリ: https://github.com/starmpcc/Asclepius
• 論文: https://arxiv.org/abs/2309.00237
• データ: https://huggingface.co/datasets/starmpcc/Asclepius-Synthetic-Clinical-Notes

使用方法

直接使用

[詳細情報が必要です]

下流タスクでの使用

[詳細情報が必要です]

想定外の使用

このモデルは研究目的のみで使用してください！

トレーニング詳細

トレーニングデータ

https://huggingface.co/datasets/starmpcc/Asclepius-Synthetic-Clinical-Notes

トレーニング手順

• 合成臨床ノートを使用した因果言語モデリングによる初期トレーニングを行いました。
• その後、臨床指示応答ペアでファインチューニングを行いました。
• 詳細な方法については、近日公開される論文を参照してください。

トレーニングハイパーパラメータ

• Stanford Alpaca で使用されている設定に従いました。

速度、サイズ、時間

• 事前トレーニング (1エポック): 4台のA100 80Gで2時間59分
• 指示ファインチューニング (3エポック): 4台のA100 80Gで30時間41分

🔧 技術詳細

READMEに具体的な技術詳細が記載されていないため、このセクションをスキップします。

📄 ライセンス

このモデルはCC-BY-NC-SA 4.0ライセンスの下で提供されています。

引用

BibTeX:

@article{kweon2023publicly,
  title={Publicly Shareable Clinical Large Language Model Built on Synthetic Clinical Notes},
  author={Kweon, Sunjun and Kim, Junu and Kim, Jiyoun and Im, Sujeong and Cho, Eunbyeol and Bae, Seongsu and Oh, Jungwoo and Lee, Gyubok and Moon, Jong Hak and You, Seng Chan and others},
  journal={arXiv preprint arXiv:2309.00237},
  year={2023}
}

UPDATE

2024.01.10

• MIMIC-IIIの退院要約でトレーニングされたAsclepiusのバリアントであるAsclepius-Rが、Physionet で利用可能になりました！