Txgemma 9b Predict

🚀 TxGemma模型卡片

TxGemma是基於Gemma 2構建的輕量級、最先進的開放語言模型集合，針對治療開發進行了微調。它能處理和理解與各種治療方式和靶點相關的信息，可用於藥物發現等多個領域，為治療研究提供了強大的支持。

🚀 快速開始

以下是一些示例代碼片段，可幫助你在GPU上本地快速運行該模型。如果你想使用該模型對大量輸入進行推理，建議你使用Model Garden創建一個生產版本。

治療任務提示格式化

import json
from huggingface_hub import hf_hub_download

# 從TDC加載任務的提示模板
tdc_prompts_filepath = hf_hub_download(
    repo_id="google/txgemma-9b-predict",
    filename="tdc_prompts.json",
)
with open(tdc_prompts_filepath, "r") as f:
    tdc_prompts_json = json.load(f)

# 設置示例TDC任務和輸入
task_name = "BBB_Martins"
input_type = "{Drug SMILES}"
drug_smiles = "CN1C(=O)CN=C(C2=CCCCC2)c2cc(Cl)ccc21"

# 使用模板和輸入的藥物SMILES字符串構建提示
TDC_PROMPT = tdc_prompts_json[task_name].replace(input_type, drug_smiles)
print(TDC_PROMPT)

在預測任務上運行模型

# pip install accelerate transformers
from transformers import AutoTokenizer, AutoModelForCausalLM

# 直接從Hugging Face Hub加載模型
tokenizer = AutoTokenizer.from_pretrained("google/txgemma-9b-predict")
model = AutoModelForCausalLM.from_pretrained(
    "google/txgemma-9b-predict",
    device_map="auto",
)

# 格式化的TDC提示（見上文“治療任務提示格式化”部分）
prompt = TDC_PROMPT

# 準備標記化的輸入
input_ids = tokenizer(prompt, return_tensors="pt").to("cuda")

# 生成響應
outputs = model.generate(**input_ids, max_new_tokens=8)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

或者，你可以使用pipeline API，它提供了一種簡單的方法來運行推理，同時抽象掉加載和使用模型及分詞器的複雜細節：

# pip install transformers
from transformers import pipeline

# 使用模型實例化文本生成管道
pipe = pipeline(
    "text-generation",
    model="google/txgemma-9b-predict",
    device="cuda",
)

# 格式化的TDC提示（見上文“治療任務提示格式化”部分）
prompt = TDC_PROMPT

# 生成響應
outputs = pipe(prompt, max_new_tokens=8)
response = outputs[0]["generated_text"]
print(response)

✨ 主要特性

模型描述

TxGemma是基於Gemma 2構建的輕量級、最先進的開放語言模型集合，針對治療開發進行了微調。它有2B、9B和27B三種大小。TxGemma模型旨在處理和理解與各種治療方式和靶點相關的信息，包括小分子、蛋白質、核酸、疾病和細胞系。TxGemma在屬性預測等任務中表現出色，可作為進一步微調的基礎，或作為藥物發現的交互式對話代理。該模型使用從Therapeutics Data Commons (TDC)精選的多樣化指令調整數據集，從Gemma 2進行微調。

關鍵特性

• 多功能性：在廣泛的治療任務中表現出色，在大量基準測試中超越或達到同類最佳性能。
• 數據效率：與較大的模型相比，即使在數據有限的情況下也能表現出有競爭力的性能，比其前身有所改進。
• 對話能力（TxGemma - Chat）：包括能夠進行自然語言對話並解釋其預測背後推理的對話變體。
• 微調基礎：可作為預訓練基礎用於特定用例。

潛在應用

TxGemma可以成為以下領域研究人員的寶貴工具：

• 加速藥物發現：通過預測治療方法和靶點的屬性，簡化治療開發過程，適用於各種任務，包括靶點識別、藥物 - 靶點相互作用預測和臨床試驗批准預測。

📚 詳細文檔

示例

有關如何使用TxGemma的示例，請參閱以下Colab筆記本：

• 若要快速嘗試該模型，使用Hugging Face的權重在本地運行，請參閱Colab中的快速入門筆記本，其中包括一些來自TDC的示例評估任務。
• 有關如何在Hugging Face中微調TxGemma的演示，請參閱我們的Colab中的微調筆記本。
• 有關如何將TxGemma作為由Gemma 2驅動的更大代理工作流的一部分的演示，請參閱Colab中的代理工作流筆記本。

模型架構概述

• TxGemma基於Gemma 2系列輕量級、最先進的開放大語言模型。它採用僅解碼器的Transformer架構。
• 基礎模型：Gemma 2（2B、9B和27B參數版本）。
• 微調數據：Therapeutics Data Commons，這是一組涵蓋各種治療方式和靶點的指令調整數據集。
• 訓練方法：使用治療數據（TxT）的混合進行指令微調，對於對話變體，還使用通用指令調整數據。
• 對話變體：TxGemma - Chat模型（9B和27B）使用治療和通用指令調整數據的混合進行訓練，以保持對話能力。

技術規格

性能與驗證

TxGemma的性能已在從TDC派生的66個治療任務的綜合基準測試中得到驗證。

關鍵性能指標

• 綜合改進：在66個治療任務中的45個任務上比原始Tx - LLM論文有所改進。
• 同類最佳性能：在66個任務中的50個任務上超越或達到同類最佳性能，在26個任務上超過專業模型。完整明細請參閱TxGemma論文的表A.11。

輸入和輸出

• 輸入：文本。為獲得最佳性能，文本提示應根據TDC結構進行格式化，包括指令、上下文、問題以及可選的少樣本示例。輸入可以包括SMILES字符串、氨基酸序列、核苷酸序列和自然語言文本。
• 輸出：文本。

🔧 技術細節

數據集詳情

訓練數據集

• Therapeutics Data Commons：這是一個經過精心策劃的指令調整數據集集合，涵蓋了66個任務，涉及安全有效藥物的發現和開發。這包括跨越不同生物醫學實體的超過1500萬個數據點。已發佈的TxGemma模型僅在具有商業許可證的數據集上進行訓練，而我們論文中的模型還在具有非商業許可證的數據集上進行訓練。
• 通用指令調整數據：與TDC結合用於TxGemma - Chat。

評估數據集

Therapeutics Data Commons：用於訓練的相同66個任務也用於評估，遵循TDC推薦的數據分割方法（隨機、支架、冷啟動、組合和時間）。

實現信息

軟件

訓練使用JAX進行。JAX允許研究人員利用最新一代的硬件，包括TPU，以更快、更高效地訓練大型模型。

使用和限制

預期用途

• 治療方法的研究和開發。

優點

TxGemma為加速治療開發提供了一個多功能且強大的工具。它具有以下優點：

• 在廣泛的任務中表現出色。
• 與較大的模型相比，數據效率更高。
• 可作為從私有數據進行進一步微調的基礎。
• 可集成到代理工作流中。

限制

• 在來自TDC的公共數據上進行訓練。
• 特定任務的驗證仍然是最終用戶進行下游模型開發的重要方面。
• 與任何研究一樣，開發人員應確保任何下游應用都經過驗證，以瞭解使用與特定應用預期使用環境（例如年齡、性別、狀況、掃描儀等）適當代表的數據的性能。

📄 許可證

TxGemma的使用受Health AI Developer Foundations使用條款的約束。

📖 引用

@article{wang2025txgemma,
    title={TxGemma: Efficient and Agentic LLMs for Therapeutics},
    author={Wang, Eric and Schmidgall, Samuel and Jaeger, Paul F. and Zhang, Fan and Pilgrim, Rory and Matias, Yossi and Barral, Joelle and Fleet, David and Azizi, Shekoofeh},
    year={2025},
}

論文可在此處找到。

其他資源

• 模型文檔：TxGemma
• 資源鏈接：
  • Google Cloud Model Garden上的模型：TxGemma
  • Hugging Face上的模型：TxGemma
  • GitHub倉庫（支持代碼、Colab筆記本、討論和問題）：TxGemma
  • 快速入門筆記本：notebooks/quick_start
  • 支持：請參閱聯繫我們。

訪問說明

若要在Hugging Face上訪問TxGemma，你需要查看並同意Health AI Developer Foundation的使用條款。為此，請確保你已登錄Hugging Face並點擊下方按鈕。請求將立即處理。

作者：Google