Qwen2.5 Aloe Beta 72B

🚀 アロエ: 微調整されたオープン医療用大規模言語モデルのファミリー

アロエは、複数の医療タスクで最先端の性能を達成するオープン医療用大規模言語モデル（LLM）です。医療分野の研究や、より良い基礎モデルの構築に役立ちます。

🚀 クイックスタート

Qwen2.5 - アロエ - ベータ - 72B は、複数の医療タスクで最先端の性能を達成する オープン医療用LLM です。アロエ・ベータは、4つのモデルサイズで提供されています。

• 7B
• 8B
• 70B
• 72B

すべてのモデルは、Llama3.1 と Qwen2.5 の2つの異なるモデルファミリーをベースに、同じ方法で学習されています。アロエは20の医療タスクで学習されており、堅牢で汎用性の高い医療モデルとなっています。評価結果から、アロエモデルは同クラスの中でも最良のモデルの1つであることが示されています。

✨ 主な機能

• 高性能: 複数の医療タスクで最先端の性能を達成します。
• 汎用性: 20の医療タスクで学習され、様々な医療シナリオに対応できます。
• 商用利用可能: ライセンスの条件により、商用利用が可能です。

💻 使用例

基本的な使用法

Transformers pipeline

import transformers
import torch

model_id = "HPAI-BSC/Qwen2.5-Aloe-Beta-72B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are an expert medical assistant named Aloe, developed by the High Performance Artificial Intelligence Group at Barcelona Supercomputing Center(BSC). You are to be a helpful, respectful, and honest assistant."},
    {"role": "user", "content": "Hello."},
]

prompt = pipeline.tokenizer.apply_chat_template(
		messages, 
		tokenize=False, 
		add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|im_end|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.7,
    top_p=0.8,
    top_k=20,
    repetition_penalty=1.05
)
print(outputs[0]["generated_text"][len(prompt):])

Transformers AutoModelForCausalLM

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "HPAI-BSC/Qwen2.5-Aloe-Beta-72B"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are an expert medical assistant named Aloe, developed by the High Performance Artificial Intelligence Group at Barcelona Supercomputing Center(BSC). You are to be a helpful, respectful, and honest assistant."},
    {"role": "user", "content": "Hello"},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|im_end|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.7,
    top_p=0.8,
    top_k=20,
    repetition_penalty=1.05
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

📚 ドキュメント

モデルの詳細

モデルの説明

モデルの性能

アロエ・ベータは、最も人気のある医療QAデータセットで、Medprompt推論技術を使用する場合と使用しない場合の両方でテストされています。結果は、同じサイズのモデルの中で競争力のある性能を示し、最先端の結果を達成しています。

使用方法

直接使用

アロエは、研究目的での使用を推奨しており、医療分野のより良い基礎モデルを構築するための一歩として利用できます。実運用では、常に人間の専門家の監督の下で使用する必要があります。

範囲外の使用

これらのモデルは、臨床医療、医学的診断、またはその他の直接的または間接的な医療アドバイスには使用しないでください。モデルは誤りを生じる可能性があり、有害なコンテンツを生成することもあります。アロエモデルを、個人に害を与える活動（スパム、詐欺、なりすましなど）に使用することは、厳禁です。未成年者は、監督なしでアロエと対話しないでください。

バイアス、リスク、および制限

アロエは、適切なプロンプトの下で有害なコンテンツを生成する可能性があり、複数の望ましくないバイアスを含んでいます。これを軽減するために多大な努力をしていますが（以下のアライメントの詳細を参照）、モデルの安全性を完全に保証することはできません。学習には、すべての個人データの使用を避けています。

医療用LLMに特有の少なくとも3つのリスクケースを特定しています。

• 医療専門家のなりすまし: これは詐欺行為で、現在数十億ドルの 利益 を生み出しています。アロエのようなモデルは、このような欺瞞行為の効果を高め、それを拡大する可能性があります。主な予防策は、デジタル情報の信頼性の低さや医療登録の重要性に関する公衆の知識向上、およびAI生成コンテンツの表示義務を規定する法律の制定です。
• 専門家の監督なしの医療判断: これは現代社会ですでに問題となっています（例：自己薬療）。アロエのような、高品質な会話データを生成できるモデルは、特に媚び言葉の影響で、自己欺瞞を助長する可能性があります。カスタマイズされた応答を生成することで、実行可能な回答を生成するためにも使用できます。自己診断の危険性に関する公衆の知識向上、およびモデルの出力に対する表示義務と警告の導入が、主な防御策の1つです。
• 危険な物質や手順に関する情報へのアクセス: 機密コンテンツに関する文献は、すでに様々なソース（図書館、インターネット、暗黒ウェブなど）で見つけることができますが、LLMはそのようなアクセスを集中化し、その情報の流れを制御することをほぼ不可能にする可能性があります。モデルのアライメントはその点で役立つ可能性がありますが、現時点ではその効果は不十分であり、ジェイルブレイク手法がまだそれを克服しています。

🔧 技術詳細

教師付き微調整

Qwen2.5 - 72B をベースに、axolotl（https://github.com/axolotl - ai - cloud/axolotl）を使用してSFTを行いました。

以下のハードウェアを使用して、DeepspeedのZero - 3分散学習を行いました。

• 7B: Marenostrum 5 の32台のNVIDIA Hopper H100 64GB
• 8B: Marenostrum 5 の32台のNVIDIA Hopper H100 64GB
• 70B: Marenostrum 5 の64台のNVIDIA Hopper H100 64GB
• 72B: Marenostrum 5 の92台のNVIDIA Hopper H100 64GB

学習データ

学習セットは約18億トークンで構成されており、3種類のデータが含まれています。

• 医療分野のデータセット: 20の異なる医療タスクのデータが含まれています。
  • [HPAI - BSC/Aloe - Beta - General - Collection](https://huggingface.co/datasets/HPAI - BSC/Aloe - Beta - General - Collection)
  • [HPAI - BSC/chain - of - diagnosis](https://huggingface.co/datasets/HPAI - BSC/chain - of - diagnosis)
  • [HPAI - BSC/MedS - Ins](https://huggingface.co/datasets/HPAI - BSC/MedS - Ins)
  • [HPAI - BSC/ultramedical](https://huggingface.co/datasets/HPAI - BSC/ultramedical)
• 合成データ: Llama3.1 - 70B を使用して高品質な回答を生成することで、学習データを拡張しました。
  • [HPAI - BSC/pubmedqa - cot - llama31](https://huggingface.co/datasets/HPAI - BSC/pubmedqa - cot - llama31)
  • [HPAI - BSC/medqa - cot - llama31](https://huggingface.co/datasets/HPAI - BSC/medqa - cot - llama31)
  • [HPAI - BSC/medmcqa - cot - llama31](https://huggingface.co/datasets/HPAI - BSC/medmcqa - cot - llama31)
  • [HPAI - BSC/headqa - cot - llama31](https://huggingface.co/datasets/HPAI - BSC/headqa - cot - llama31)
  • [HPAI - BSC/MMLU - medical - cot - llama31](https://huggingface.co/datasets/HPAI - BSC/MMLU - medical - cot - llama31)
  • [HPAI - BSC/Polymed - QA](https://huggingface.co/datasets/HPAI - BSC/Polymed - QA)

📄 ライセンス

このモデルは Qwen2.5 - 72B をベースにしており、Qwenのカスタムライセンスでリリースされています。当社のすべての変更は CC BY 4.0 ライセンスで利用可能であり、アロエ・ベータモデルは 商用利用可能 です。