license: other license_name: health-ai-developer-foundations license_link: https://developers.google.com/health-ai-developer-foundations/terms language:

• en pipeline_tag: text-generation library_name: transformers tags:
• therapeutics
• drug-development extra_gated_heading: Hugging FaceでのTxGemmaへのアクセス extra_gated_prompt: >- Hugging FaceでTxGemmaにアクセスするには、Health AI Developer Foundationの利用規約を確認し同意する必要があります。 これを行うには、Hugging Faceにログインしていることを確認し、以下をクリックしてください。 リクエストは即座に処理されます。 extra_gated_button_content: ライセンスを確認

TxGemmaモデルカード

モデルドキュメント: TxGemma

リソース:

• Google Cloud Model Gardenのモデル: TxGemma
• Hugging Faceのモデル: TxGemma
• GitHubリポジトリ（サポートコード、Colabノートブック、ディスカッション、イシュー）: TxGemma
• クイックスタートノートブック: notebooks/quick_start
• サポート: お問い合わせをご覧ください。

利用規約: Health AI Developer Foundationsの利用規約

著者: Google

モデル情報

このセクションでは、TxGemmaモデルとその使用方法について説明します。

説明

TxGemmaは、Gemma 2を基に構築された軽量で最先端のオープン言語モデルのコレクションで、治療開発向けにファインチューニングされています。2B、9B、27Bの3つのサイズがあります。

TxGemmaモデルは、小分子、タンパク質、核酸、疾患、細胞株など、さまざまな治療モダリティとターゲットに関連する情報を処理および理解するように設計されています。TxGemmaは、特性予測などのタスクに優れており、さらなるファインチューニングの基盤として、または創薬のための対話型の会話エージェントとして使用できます。このモデルは、Therapeutics Data Commons (TDC)からキュレートされた多様な命令チューニングデータセットを使用して、Gemma 2からファインチューニングされています。

TxGemmaは、狭い形式のプロンプトを期待する予測モデルとして、また9Bおよび27Bバージョンでは、より柔軟で多回転のインタラクションで使用できる会話モデルとして提供されます。この会話モデルは、いくつかの生の予測性能を犠牲にしています。詳細については、論文をご覧ください。

主な特徴

• 汎用性: 幅広い治療タスクで強力な性能を発揮し、多くのベンチマークで最高クラスの性能を上回るか一致します。
• データ効率: 大規模なモデルと比較しても限られたデータで競争力のある性能を示し、前身モデルを上回ります。
• 会話能力 (TxGemma-Chat): 自然言語対話が可能で、予測の背後にある理由を説明できる会話バリアントを含みます。
• ファインチューニングの基盤: 専門的な使用例のための事前トレーニング済み基盤として使用できます。

潜在的な用途

TxGemmaは、以下の分野の研究者にとって貴重なツールとなり得ます:

• 創薬の加速: 治療薬とターゲットの特性を予測することで、治療開発プロセスを効率化します。これには、ターゲット同定、薬物-ターゲット相互作用予測、臨床試験承認予測など、さまざまなタスクが含まれます。

使用方法

以下は、GPUでモデルをローカルで実行するためのいくつかのコードスニペットです。大量の入力に対して推論を実行する場合は、Model Gardenを使用してプロダクション版を作成することをお勧めします。

治療タスクのためのプロンプトのフォーマット

import json
from huggingface_hub import hf_hub_download

# TDCタスクのプロンプトテンプレートをロード
tdc_prompts_filepath = hf_hub_download(
    repo_id="google/txgemma-2b-predict",
    filename="tdc_prompts.json",
)
with open(tdc_prompts_filepath, "r") as f:
    tdc_prompts_json = json.load(f)

# TDCタスクと入力の例を設定
task_name = "BBB_Martins"
input_type = "{Drug SMILES}"
drug_smiles = "CN1C(=O)CN=C(C2=CCCCC2)c2cc(Cl)ccc21"

# テンプレートと入力薬物SMILES文字列を使用してプロンプトを構築
TDC_PROMPT = tdc_prompts_json[task_name].replace(input_type, drug_smiles)
print(TDC_PROMPT)

結果のプロンプトは、モデルが期待する形式になります:

Instructions: Answer the following question about drug properties.
Context: As a membrane separating circulating blood and brain extracellular fluid, the blood-brain barrier (BBB) is the protection layer that blocks most foreign drugs. Thus the ability of a drug to penetrate the barrier to deliver to the site of action forms a crucial challenge in development of drugs for central nervous system.
Question: Given a drug SMILES string, predict whether it
(A) does not cross the BBB (B) crosses the BBB
Drug SMILES: CN1C(=O)CN=C(C2=CCCCC2)c2cc(Cl)ccc21
Answer:

予測タスクでのモデルの実行

# pip install accelerate transformers
from transformers import AutoTokenizer, AutoModelForCausalLM

# Hugging Face Hubから直接モデルをロード
tokenizer = AutoTokenizer.from_pretrained("google/txgemma-2b-predict")
model = AutoModelForCausalLM.from_pretrained(
    "google/txgemma-2b-predict",
    device_map="auto",
)

# フォーマットされたTDCプロンプト（上記の「治療タスクのためのプロンプトのフォーマット」セクション参照）
prompt = TDC_PROMPT

# トークン化された入力を準備
input_ids = tokenizer(prompt, return_tensors="pt").to("cuda")

# 応答を生成
outputs = model.generate(**input_ids, max_new_tokens=8)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

または、pipeline APIを使用することもできます。これは、モデルとトークナイザーのロードと使用の複雑な詳細を抽象化し、推論を簡単に実行する方法を提供します:

# pip install transformers
from transformers import pipeline

# モデルを使用してテキスト生成パイプラインをインスタンス化
pipe = pipeline(
    "text-generation",
    model="google/txgemma-2b-predict",
    device="cuda",
)

# フォーマットされたTDCプロンプト（上記の「治療タスクのためのプロンプトのフォーマット」セクション参照）
prompt = TDC_PROMPT

# 応答を生成
outputs = pipe(prompt, max_new_tokens=8)
response = outputs[0]["generated_text"]
print(response)

例

TxGemmaの使用方法の例については、以下のColabノートブックをご覧ください:

• モデルを簡単に試すには、Hugging Faceの重みを使用してローカルで実行するColabでのクイックスタートノートブックをご覧ください。これにはTDCからのいくつかの評価タスクの例が含まれています。
• Hugging FaceでTxGemmaをファインチューニングする方法のデモについては、Colabでのファインチューニングノートブックをご覧ください。
• TxGemmaをGemini 2を動力源とするより大きなエージェントワークフローの一部としてツールとして使用する方法のデモについては、Colabでのエージェントワークフローノートブックをご覧ください。

モデルアーキテクチャの概要

• TxGemmaは、軽量で最先端のオープンLLMであるGemma 2ファミリーを基にしています。デコーダのみのトランスフォーマーアーキテクチャを採用しています。
• ベースモデル: Gemma 2（2B、9B、27Bパラメータバージョン）。
• ファインチューニングデータ: Therapeutics Data Commons。さまざまな治療モダリティとターゲットをカバーする命令チューニングデータセットのコレクション。
• トレーニングアプローチ: 治療データ（TxT）と、会話バリアントの場合は一般的な命令チューニングデータの混合物を使用した命令ファインチューニング。
• 会話バリアント: TxGemma-Chatモデル（9Bおよび27B）は、会話能力を維持するために、治療と一般的な命令チューニングデータの混合物でトレーニングされています。

技術仕様

• モデルタイプ: デコーダのみのトランスフォーマー（Gemma 2ベース）
• 主要な出版物: TxGemma: Efficient and Agentic LLMs for Therapeutics
• モデル作成日: 2025-03-18（TxGemma Variant Proposalから）
• モデルバージョン: 1.0.0

性能と検証

TxGemmaの性能は、TDCから派生した66の治療タスクの包括的なベンチマークで検証されています。

主要な性能指標

• 集約的な改善: 元のTx-LLM論文と比較して、66の治療タスクのうち45で改善されています。
• 最高クラスの性能: 66タスクのうち50で最高クラスの性能を上回るか一致し、26タスクで専門モデルを上回ります。詳細な内訳は、TxGemma論文の表A.11をご覧ください。

入力と出力

• 入力: テキスト。最高の性能を得るためには、テキストプロンプトはTDC構造に従ってフォーマットする必要があります。これには、命令、コンテキスト、質問、およびオプションでfew-shot例が含まれます。入力には、SMILES文字列、アミノ酸配列、ヌクレオチド配列、自然言語テキストを含めることができます。
• 出力: テキスト。

データセットの詳細

トレーニングデータセット

Therapeutics Data Commons: 安全で効果的な医薬品の発見と開発にわたる66のタスクをカバーする命令チューニングデータセットのキュレートされたコレクション。これには、さまざまな生物医学エンティティにわたる1500万を超えるデータポイントが含まれます。リリースされたTxGemmaモデルは、商用ライセンスを持つデータセットのみでトレーニングされていますが、出版物のモデルは非商用ライセンスのデータセットでもトレーニングされています。

一般的な命令チューニングデータ: TxGemma-ChatでTDCと組み合わせて使用されます。

評価データセット

Therapeutics Data Commons: トレーニングに使用されたのと同じ66のタスクが評価に使用され、TDCの推奨方法論（ランダム、スキャフォールド、コールドスタート、組み合わせ、時間的）に従ってデータ分割されます。

ライセンス

TxGemmaの使用は、Health AI Developer Foundationsの利用規約によって管理されます。

実装情報

このセクションには、モデルの内部に関する詳細が含まれます。

ソフトウェア

トレーニングはJAXを使用して行われました。

JAXにより、研究者はTPUを含む最新世代のハードウェアを活用し、大規模モデルのより高速で効率的なトレーニングが可能になります。

使用と制限

意図された使用

• 治療の研究と開発。

利点

TxGemmaは、治療開発を加速するための汎用性と強力なツールを提供します。以下を提供します:

• 幅広いタスクでの強力な性能。
• 大規模モデルと比較したデータ効率。
• プライベートデータからのさらなるファインチューニングの基盤。
• エージェントワークフローへの統合。

制限

• TDCの公開データでトレーニングされています。
• タスク固有の検証は、エンドユーザーによるダウンストリームモデル開発の重要な側面です。
• あらゆる研究と同様に、開発者は特定のアプリケーションの意図された使用設定（年齢、性別、状態、スキャナーなど）に適切に代表されるデータを使用して性能を理解するために、ダウンストリームアプリケーションが検証されていることを確認する必要があります。

引用

@article{wang2025txgemma,
    title={TxGemma: Efficient and Agentic LLMs for Therapeutics},
    author={Wang, Eric and Schmidgall, Samuel and Jaeger, Paul F. and Zhang, Fan and Pilgrim, Rory and Matias, Yossi and Barral, Joelle and Fleet, David and Azizi, Shekoofeh},
    year={2025},
}

論文はこちらでご覧いただけます。