license: other license_name: health-ai-developer-foundations license_link: https://developers.google.com/health-ai-developer-foundations/terms language:

• en pipeline_tag: text-generation library_name: transformers tags:
• therapeutics
• drug-development extra_gated_heading: Hugging FaceでのTxGemmaアクセス extra_gated_prompt: >- Hugging FaceでTxGemmaにアクセスするには、Health AI Developer Foundationの利用規約を確認し同意する必要があります。 これを行うには、Hugging Faceにログインしていることを確認し、以下をクリックしてください。 リクエストは即時処理されます。 extra_gated_button_content: ライセンスを確認

TxGemmaモデルカード

モデルドキュメント: TxGemma

リソース:

• Google Cloud Model Gardenのモデル: TxGemma
• Hugging Faceのモデル: TxGemma
• GitHubリポジトリ（サポートコード、Colabノートブック、ディスカッション、イシュー）: TxGemma
• クイックスタートノートブック: notebooks/quick_start
• サポート: 連絡先を参照。

利用規約: Health AI Developer Foundations利用規約

著者: Google

モデル情報

このセクションでは、TxGemmaモデルとその使用方法について説明します。

説明

TxGemmaは、Gemma 2を基に構築された軽量で最先端のオープン言語モデルのコレクションで、治療開発向けにファインチューニングされています。2B、9B、27Bの3つのサイズがあります。

TxGemmaモデルは、小分子、タンパク質、核酸、疾患、細胞株など、さまざまな治療モダリティとターゲットに関連する情報を処理および理解するように設計されています。TxGemmaは、特性予測などのタスクに優れており、さらなるファインチューニングの基礎として、または創薬のための対話型会話エージェントとして使用できます。このモデルは、Therapeutics Data Commons (TDC)からキュレートされた多様な命令チューニングデータセットを使用して、Gemma 2からファインチューニングされています。

TxGemmaは、狭い形式のプロンプトを期待する予測モデルとして、および9Bと27Bバージョンの場合、より柔軟で多回の対話に使用できる会話モデルとして提供されています。この会話モデルは、いくつかの生の予測性能を犠牲にしています。詳細については、論文を参照してください。

主な特徴

• 汎用性: 幅広い治療タスクで強力な性能を発揮し、多くのベンチマークで最高クラスの性能を上回るまたは一致させます。
• データ効率: 大規模なモデルと比較しても限られたデータで競争力のある性能を示し、前身モデルを上回ります。
• 会話能力 (TxGemma-Chat): 自然言語対話を行い、予測の背後にある理由を説明できる会話バリアントを含みます。
• ファインチューニングの基礎: 専門的な使用例のための事前トレーニング済みの基礎として使用できます。

潜在的な用途

TxGemmaは、以下の分野の研究者にとって貴重なツールとなり得ます:

• 創薬の加速: ターゲット識別、薬物-ターゲット相互作用予測、臨床試験承認予測など、幅広いタスクの治療薬とターゲットの特性を予測することで、治療開発プロセスを効率化します。

使用方法

以下は、GPUでモデルをローカルで実行するためのいくつかのコードスニペットです。大量の入力に対して推論を実行する場合は、Model Gardenを使用してプロダクション版を作成することをお勧めします。

治療タスクのためのプロンプトのフォーマット

import json
from huggingface_hub import hf_hub_download

# TDCタスクのプロンプトテンプレートをロード
tdc_prompts_filepath = hf_hub_download(
    repo_id="google/txgemma-27b-predict",
    filename="tdc_prompts.json",
)
with open(tdc_prompts_filepath, "r") as f:
    tdc_prompts_json = json.load(f)

# TDCタスクと入力の例を設定
task_name = "BBB_Martins"
input_type = "{Drug SMILES}"
drug_smiles = "CN1C(=O)CN=C(C2=CCCCC2)c2cc(Cl)ccc21"

# テンプレートと入力薬物SMILES文字列を使用してプロンプトを構築
TDC_PROMPT = tdc_prompts_json[task_name].replace(input_type, drug_smiles)
print(TDC_PROMPT)

結果のプロンプトは、モデルが期待する形式です:

Instructions: Answer the following question about drug properties.
Context: As a membrane separating circulating blood and brain extracellular fluid, the blood-brain barrier (BBB) is the protection layer that blocks most foreign drugs. Thus the ability of a drug to penetrate the barrier to deliver to the site of action forms a crucial challenge in development of drugs for central nervous system.
Question: Given a drug SMILES string, predict whether it
(A) does not cross the BBB (B) crosses the BBB
Drug SMILES: CN1C(=O)CN=C(C2=CCCCC2)c2cc(Cl)ccc21
Answer:

予測タスクでのモデルの実行

# pip install accelerate transformers
from transformers import AutoTokenizer, AutoModelForCausalLM

# Hugging Face Hubから直接モデルをロード
tokenizer = AutoTokenizer.from_pretrained("google/txgemma-27b-predict")
model = AutoModelForCausalLM.from_pretrained(
    "google/txgemma-27b-predict",
    device_map="auto",
)

# フォーマットされたTDCプロンプト（上記の「治療タスクのためのプロンプトのフォーマット」セクションを参照）
prompt = TDC_PROMPT

# トークン化された入力を準備
input_ids = tokenizer(prompt, return_tensors="pt").to("cuda")

# 応答を生成
outputs = model.generate(**input_ids, max_new_tokens=8)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

または、pipeline APIを使用することもできます。これは、モデルとトークナイザーのロードと使用の複雑な詳細を抽象化し、推論を実行する簡単な方法を提供します:

# pip install transformers
from transformers import pipeline

# モデルを使用してテキスト生成パイプラインをインスタンス化
pipe = pipeline(
    "text-generation",
    model="google/txgemma-27b-predict",
    device="cuda",
)

# フォーマットされたTDCプロンプト（上記の「治療タスクのためのプロンプトのフォーマット」セクションを参照）
prompt = TDC_PROMPT

# 応答を生成
outputs = pipe(prompt, max_new_tokens=8)
response = outputs[0]["generated_text"]
print(response)

例

TxGemmaの使用方法の例については、以下のColabノートブックを参照してください:

• モデルを簡単に試すには、Hugging Faceの重みを使用してローカルで実行するColabのクイックスタートノートブックを参照してください。これにはTDCからのいくつかの評価タスクの例が含まれています。
• Hugging FaceでTxGemmaをファインチューニングする方法のデモについては、Colabのファインチューニングノートブックを参照してください。
• TxGemmaをGemini 2を動力源とするより大きなエージェントワークフローの一部としてツールとして使用する方法のデモについては、Colabのエージェントワークフローノートブックを参照してください。

モデルアーキテクチャの概要

• TxGemmaは、軽量で最先端のオープンLLMであるGemma 2ファミリーを基にしています。デコーダー専用のトランスフォーマーアーキテクチャを利用しています。
• ベースモデル: Gemma 2（2B、9B、27Bパラメータバージョン）。
• ファインチューニングデータ: 多様な治療モダリティとターゲットをカバーする命令チューニングデータセットのコレクションであるTherapeutics Data Commons。
• トレーニングアプローチ: 治療データ（TxT）と、会話バリアントの場合は一般的な命令チューニングデータの混合物を使用した命令ファインチューニング。
• 会話バリアント: TxGemma-Chatモデル（9Bと27B）は、会話能力を維持するために、治療と一般的な命令チューニングデータの混合物でトレーニングされています。

技術仕様

• モデルタイプ: デコーダー専用トランスフォーマー（Gemma 2ベース）
• 主要な出版物: TxGemma: Efficient and Agentic LLMs for Therapeutics
• モデル作成日: 2025-03-18（TxGemma Variant Proposalから）
• モデルバージョン: 1.0.0

性能と検証

TxGemmaの性能は、TDCから派生した66の治療タスクの包括的なベンチマークで検証されています。

主要な性能指標

• 集約的な改善: 元のTx-LLM論文と比較して、66の治療タスクのうち45で改善されています。
• 最高クラスの性能: 66タスクのうち50で最高クラスの性能を上回るまたは一致させ、26タスクで専門家モデルを上回ります。詳細な内訳は、TxGemma論文の表A.11を参照してください。

入力と出力

• 入力: テキスト。最高の性能を得るためには、テキストプロンプトは命令、コンテキスト、質問、およびオプションで少数ショットの例を含むTDC構造に従ってフォーマットする必要があります。入力にはSMILES文字列、アミノ酸配列、ヌクレオチド配列、自然言語テキストを含めることができます。
• 出力: テキスト。

データセットの詳細

トレーニングデータセット

Therapeutics Data Commons: 安全で効果的な医薬品の発見と開発にわたる66のタスクをカバーする命令チューニングデータセットのキュレートされたコレクション。これには、さまざまな生物医学的エンティティにわたる1500万を超えるデータポイントが含まれます。リリースされたTxGemmaモデルは、商用ライセンスを持つデータセットのみでトレーニングされていますが、出版物のモデルは非商用ライセンスのデータセットでもトレーニングされています。

一般的な命令チューニングデータ: TxGemma-ChatでTDCと組み合わせて使用されます。

評価データセット

Therapeutics Data Commons: トレーニングに使用された同じ66のタスクが評価に使用され、TDCの推奨方法論（ランダム、スキャフォールド、コールドスタート、組み合わせ、時間的）に従ってデータ分割されます。

ライセンス

TxGemmaの使用は、Health AI Developer Foundations利用規約によって管理されています。

実装情報

このセクションには、モデルの内部に関する詳細が含まれています。

ソフトウェア

トレーニングはJAXを使用して行われました。

JAXにより、研究者はTPUを含む最新世代のハードウェアを活用して、大規模なモデルのより高速で効率的なトレーニングが可能になります。

使用と制限

意図された使用

• 治療の研究と開発。

利点

TxGemmaは、治療開発を加速するための汎用性と強力なツールを提供します。以下を提供します:

• 幅広いタスクでの強力な性能。
• 大規模なモデルと比較したデータ効率。
• プライベートデータからのさらなるファインチューニングの基礎。
• エージェントワークフローへの統合。

制限

• TDCの公開データでトレーニングされています。
• タスク固有の検証は、エンドユーザーによるダウンストリームモデル開発の重要な側面です。
• あらゆる研究と同様に、開発者は特定のアプリケーションの意図された使用設定（年齢、性別、状態、スキャナーなど）に適切に代表されるデータを使用して性能を理解するために、ダウンストリームアプリケーションが検証されていることを確認する必要があります。

引用

@article{wang2025txgemma,
    title={TxGemma: Efficient and Agentic LLMs for Therapeutics},
    author={Wang, Eric and Schmidgall, Samuel and Jaeger, Paul F. and Zhang, Fan and Pilgrim, Rory and Matias, Yossi and Barral, Joelle and Fleet, David and Azizi, Shekoofeh},
    year={2025},
}

論文はこちらで見つかります。