Fine Tuned Progen2 Small

🚀 抗体生成器（基于ProGen2）模型卡片

本抗体生成器模型基于ProGen2架构，专为生成治疗性抗体序列而开发，可应用于免疫学、疫苗开发和医学治疗等领域，为生物信息学、分子生物学等相关领域的研究人员和从业者提供支持。

🚀 快速开始

有关如何使用该模型的说明，包括示例提示和API文档，请参阅代码仓库。

示例代码

from models.progen.modeling_progen import ProGenForCausalLM
import torch
from tokenizers import Tokenizer
import json

# Define the model identifier from Hugging Face's model hub
model_path = 'AntibodyGeneration/fine-tuned-progen2-small'

# Load the model and tokenizer
model = ProGenForCausalLM.from_pretrained(model_path)
tokenizer = Tokenizer.from_file('tokenizer.json')

# Define your sequence and other parameters
target_sequence = 'MQIPQAPWPVVWAVLQLGWRPGWFLDSPDRPWNPPTFSPALLVVTEGDNATFTCSFSNTSESFVLNWYRMSPSNQTDKLAAFPEDRSQPGQDCRFRVTQLPNGRDFHMSVVRARRNDSGTYLCGAISLAPKAQIKESLRAELRVTERRAEVPTAHPSPSPRPAGQFQTLVVGVVGGLLGSLVLLVWVLAVICSRAARGTIGARRTGQPLKEDPSAVPVFSVDYGELDFQWREKTPEPPVPCVPEQTEYATIVFPSGMGTSSPARRGSADGPRSAQPLRPEDGHCSWPL'
number_of_sequences = 2

# Tokenize the sequence
tokenized_sequence = tokenizer(target_sequence, return_tensors="pt")

# Move model and tensors to CUDA if available
device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
model = model.to(device)
tokenized_sequence = tokenized_sequence.to(device)

# Generate sequences
with torch.no_grad():
    output = model.generate(**tokenized_sequence, max_length=1024, pad_token_id=tokenizer.pad_token_id, do_sample=True, top_p=0.9, temperature=0.8, num_return_sequences=number_of_sequences)

# Decoding the output to get generated sequences
generated_sequences = [tokenizer.decode(output_seq, skip_special_tokens=True) for output_seq in output]

✨ 主要特性

• 专业用途：专为生成治疗性抗体序列而设计，可应用于免疫学、疫苗开发和医学治疗等领域。
• 强大基础：基于ProGen2模型，该模型在超过2.8亿个蛋白质序列的大规模数据集上进行了预训练。
• 多种变体：提供不同大小和微调类型的模型变体，以满足不同的需求。

📦 安装指南

文档未提及安装步骤，故跳过该章节。

💻 使用示例

基础用法

from models.progen.modeling_progen import ProGenForCausalLM
import torch
from tokenizers import Tokenizer
import json

# Define the model identifier from Hugging Face's model hub
model_path = 'AntibodyGeneration/fine-tuned-progen2-small'

# Load the model and tokenizer
model = ProGenForCausalLM.from_pretrained(model_path)
tokenizer = Tokenizer.from_file('tokenizer.json')

# Define your sequence and other parameters
target_sequence = 'MQIPQAPWPVVWAVLQLGWRPGWFLDSPDRPWNPPTFSPALLVVTEGDNATFTCSFSNTSESFVLNWYRMSPSNQTDKLAAFPEDRSQPGQDCRFRVTQLPNGRDFHMSVVRARRNDSGTYLCGAISLAPKAQIKESLRAELRVTERRAEVPTAHPSPSPRPAGQFQTLVVGVVGGLLGSLVLLVWVLAVICSRAARGTIGARRTGQPLKEDPSAVPVFSVDYGELDFQWREKTPEPPVPCVPEQTEYATIVFPSGMGTSSPARRGSADGPRSAQPLRPEDGHCSWPL'
number_of_sequences = 2

# Tokenize the sequence
tokenized_sequence = tokenizer(target_sequence, return_tensors="pt")

# Move model and tensors to CUDA if available
device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
model = model.to(device)
tokenized_sequence = tokenized_sequence.to(device)

# Generate sequences
with torch.no_grad():
    output = model.generate(**tokenized_sequence, max_length=1024, pad_token_id=tokenizer.pad_token_id, do_sample=True, top_p=0.9, temperature=0.8, num_return_sequences=number_of_sequences)

# Decoding the output to get generated sequences
generated_sequences = [tokenizer.decode(output_seq, skip_special_tokens=True) for output_seq in output]

📚 详细文档

模型详情

模型概述

抗体生成器是一个专门用于生成治疗性抗体的蛋白质生成模型。它基于Salesforce开发的先进语言模型ProGen2。ProGen2是2020年推出的原始ProGen模型的增强版本，在超过2.8亿个蛋白质序列的大规模数据集上进行了预训练。ProGen2拥有多达64亿个参数，在生成新颖、可行的蛋白质序列和预测蛋白质适应性方面表现出了最先进的性能。

预期用途

• 主要用例：生成用于免疫学、疫苗开发和医学治疗的治疗性抗体序列。
• 目标用户：生物信息学、分子生物学及相关领域的研究人员和从业者。

训练数据

• 基线模型数据：ProGen2在来自基因组、宏基因组和免疫库数据库的大量蛋白质序列上进行了训练，总计超过2.8亿个样本。
• 微调数据：微调时使用了结构抗体数据库，其中包含约5000个经过实验解析的抗体及其抗原的晶体结构。

模型变体

模型标记为progen2_<大小><微调类型><提示类型>。

1. 大小：指所使用的progen2基础模型的大小，有4种变体可供选择：
   1. 小型：1.51亿个参数
   2. 中型：7.64亿个参数
   3. 大型：27亿个参数
   4. 超大型：64亿个参数
2. 微调类型：指基础模型的微调方式，支持2种类型：
   1. 未微调
   2. 简单微调：使用以下超参数，用5000个经过实验解析的抗体及其抗原的晶体结构对基础模型进行微调。
   3. 冻结层微调：使用以下超参数，用5000个经过实验解析的抗体及其抗原的晶体结构对基础模型进行微调。此外，除最后3层外的所有层都被冻结，以避免过拟合。
3. 提示类型：指推理过程中是否为模型提供提示。
   1. 有提示：使用提示工程生成治疗性抗体序列。
   2. 零样本：不提供提示。

模型超参数

• 批量大小：40
• 轮数：10
• 学习率：0.00001

评估与性能

评估工具

1. ANARCI：使用ANARCI工具对模型进行评估，该工具用于抗体编号和受体分类。ANARCI用于分析生成的抗体序列是否符合已知的抗体序列模式和结构。它有助于评估模型输出在结构可行性和与已知抗体框架对齐方面的准确性。此评估对于确保生成的序列不仅新颖，而且具有生物学相关性和潜在功能性至关重要。ANARCI
2. 多样性得分：通过计算输出中每个可能配对的候选序列之间的序列相似度，来衡量每个模型输出的多样性。该分布的平均值表明模型输出的变化范围，这对于下游评估生成的候选序列很有用。我们同时计算整个可变序列以及仅HCDR3区域的平均序列相似度。

性能和分析

伦理考量

• 用例限制：生成的抗体在临床或研究应用前应进行实验验证。
• 滥用风险：用户应意识到生成的序列可能被用于有害应用。

链接

• Huggingface模型仓库
• 网页演示
• 开源RunPod无服务器REST API
• 此应用的代码

额外资源和链接

• Progen基础模型
• ANARCI Github
• ANARCI网络服务器
• TAP：治疗性抗体分析器
• ESM Fold

局限性和未来工作

• 实际应用需验证：预测结果在实际应用中需要进行实验验证。
• 未来改进方向：未来的改进将侧重于纳入多样化的训练数据，并提高生成抗体有效性的预测准确性。

联系信息

如有关于此模型的问题或反馈，请联系[XYZ]。

🔧 技术细节

文档未提及技术实现细节，故跳过该章节。

📄 许可证

本模型使用Apache 2.0许可证。