Palmyra Med 70B 32K

🚀 Palmyra-Med, ヘルスケア向けの強力な大規模言語モデル

Palmyra-Medは、ヘルスケア分野の独特なニーズに対応するために設計された大規模言語モデルです。高度な医療データを用いてファインチューニングされ、医療や生命科学分野のテキスト理解と生成に高い精度と流暢さを発揮します。

🚀 クイックスタート

モデルの概要

モデルの詳細

Palmyra-Med-70b-32kは、Writerによって開発され、Palmyra-Med-70bをベースに拡張されたコンテキスト長を提供し、ヘルスケア業界のニーズを満たします。生物医学のベンチマークでは、平均スコア85.87％でGPT-4、claude Opus、Gemini、Med-PaLM-2ベースモデルや医学的に訓練された人間のテスト受験者を上回り、トップの大規模言語モデルとなっています。

リソースと技術文書

• Writer Blog
• Writer Developer Website
• Writer AI Studio
• Palmyra Model API

生物医学アプリケーション向けの特化

Palmyra-Med-70B-32kは、医療および生命科学分野の独特な言語と知識の要求を満たすために細心の注意を払って設計されています。高品質の生物医学データの広範なコレクションでファインチューニングされており、特定のドメインにおける正確性と流暢さでテキストを理解し、生成することができます。

当社のシステムは、DPOデータセットと精巧なファインチューニングレシピ、およびカスタムの多様な医療命令データセットを統合しており、この分野の特定のニーズを効果的に処理できるようになっています。トレーニングパイプラインの主要な要素は以下の通りです。

• ポリシー最適化：DPOを利用してモデルのパフォーマンスを向上させます。
• ファインチューニングデータセット：カスタム医療命令データセット（Writer社内で構築）

✨ 主な機能

意図された使用方法

• 意図されたユースケース：Palmyra-Med-70b-32kは、英語での非商用および研究用途を意図しています。命令調整されたモデルはアシスタントのようなチャットに適しており、事前学習されたモデルはさまざまな自然言語生成タスクに適応できます。
• 範囲外の使用：適用される法律や規制（貿易コンプライアンス法を含む）に違反する方法での使用は禁止されています。Writerの許容使用ポリシーおよびWriterオープンモデルライセンスで禁止されている他の方法での使用も禁止されています。英語以外の言語での使用も禁止されています。
• 注意事項：開発者は、Writerオープンモデルライセンスおよび許容使用ポリシーに準拠する限り、Palmyra-Med-70b-32kモデルを英語以外の言語にファインチューニングすることができます。
• ウォーターマーク：Writer.comによって構築されたすべてのモデルには、誤用や違法な使用を検出および防止するためのウォーターマークが含まれています。

評価結果

Palmyra-Med-70B-32kは、9つの多様な生物医学データセットでGPT-4、Gemini、Med-PaLM-1などのより大きなモデルを上回り、パラメータが少ないにもかかわらず平均スコア85.9％で最先端の結果を達成しています。Clinical KG、Medical Genetics、PubMedQAなどのタスクでの強力なパフォーマンスは、生物医学知識の効果的な把握を示しています。

生物医学ベンチマークでのパフォーマンス

Palmyra-Med-70B-32kのニードルインハイスタックテストの結果は以下の通りです。

NIHでの評価の結果、Palmyra-Med-70B-32kモデルはほぼ完全なスコアを達成し、広範な医療文書を効率的に処理する強力な能力を示しています。

医療ユースケース

Palmyra-Med-70B-32kは、複雑な臨床ノート、EHRデータ、退院要約の分析と要約に優れており、重要な情報を抽出して簡潔で構造化された要約を生成します。高度な臨床エンティティ認識を行い、非構造化テキストから病気、症状、薬剤、手技、解剖学的構造などの重要な医療概念を識別することで、臨床判断を強化するのに役立ちます。

医療用語の深い理解を生かして、EHR、研究論文、その他の生物医学ソースからの情報検索、データ分析、知識発見を強化します。これらの機能は、臨床判断支援、薬物警戒、医療研究などのアプリケーションをサポートします。

バイアス、リスク、および制限事項

Palmyra-Med-70B-32kは、高品質のデータを利用しているにもかかわらず、不正確さ、バイアス、または不一致が含まれる可能性があり、臨床試験や実世界の医療環境では厳密に評価されていません。

直接の患者ケア、臨床判断支援、または専門的な医療目的でのモデルの使用は推奨されません。代わりに、その使用はその制限を理解している資格のある個人による研究に限定する必要があります。Palmyra-Med-70B-32kは専門的な医療判断を置き換えるものではなく、医療用途に適合させるには、徹底的なテスト、ガイドラインの整合、バイアスの緩和、人的監視、および規制遵守を含む多くの追加作業が必要です。個人的な医療ニーズについては、常に資格のある医療提供者に相談してください。

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "Writer/Palmyra-Med-70B-32k"

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto",
    attn_implementation="flash_attention_2",
)

messages = [
    {
        "role": "system",
        "content": "You are a highly knowledgeable and experienced expert in the healthcare and biomedical field, possessing extensive medical knowledge and practical expertise.",
    },
    {
        "role": "user",
        "content": "Does danzhi Xiaoyao San ameliorate depressive-like behavior by shifting toward serotonin via the downregulation of hippocampal indoleamine 2,3-dioxygenase?",
    },
]

input_ids = tokenizer.apply_chat_template(
    messages, tokenize=True, add_generation_prompt=True, return_tensors="pt"
)

gen_conf = {
    "max_new_tokens": 256,
    "eos_token_id": [tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")],
    "temperature": 0.0,
    "top_p": 0.9,
}

with torch.inference_mode():
    output_id = model.generate(input_ids, **gen_conf)

output_text = tokenizer.decode(output_id[0][input_ids.shape[1] :])

print(output_text)

📄 ライセンス

このモデルのライセンスはWriter open modelです。

📚 ドキュメント

引用と関連情報

このモデルを引用するには、以下のようにしてください。

@misc{Palmyra-Med-70B,
  author = {Writer Engineering team},
  title = {{Palmyra-Med-70B: A powerful LLM designed for healthcare}},
  howpublished = {\url{https://dev.writer.com}},
  year = 2024,
  month = June 
}

お問い合わせ

Hello@writer.com