Progen2 Small

🚀 ProGen2-small模型鏡像

本項目是Nijkamp等人提出的基礎ProGen2-small模型的鏡像（配置和前向傳播略有修改）。該模型為相關研究和應用提供了便利，可用於後續的微調等操作。

🚀 快速開始

本項目提供了基礎ProGen2-small模型的鏡像，你可以參考以下內容快速使用該模型。同時，你可以查看我的GitHub 倉庫 以獲取該模型微調的示例。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM
from tokenizers import Tokenizer
import torch
import torch.nn.functional as F

# load model and tokenizer
model = AutoModelForCausalLM.from_pretrained("hugohrban/progen2-small", trust_remote_code=True)
tokenizer = Tokenizer.from_pretrained("hugohrban/progen2-small")
tokenizer.no_padding()

# prepare input
prompt = "1MEVVIVTGMSGAGK"
input_ids = torch.tensor(tokenizer.encode(prompt).ids).to(model.device)

# forward pass
logits = model(input_ids).logits

# print output probabilities
next_token_logits = logits[-1, :]
next_token_probs = F.softmax(next_token_logits, dim=-1)
for i in range(tokenizer.get_vocab_size(with_added_tokens=False)):
    print(f"{tokenizer.id_to_token(i)}: {100 * next_token_probs[i].item():.2f} %")

📄 許可證

本項目採用BSD 3條款許可證（BSD 3-Clause License）。