Gpt Neo Small Portuguese

🚀 GPT-Neo Small葡萄牙語版

這是一個針對葡萄牙語微調的模型，基於EletheurAI的GPT - Neo 125M模型。它利用PTWiki轉儲中的精選文本進行訓練，旨在為葡萄牙語使用者提供一個可用的語言模型，具有一定的教育和應用價值。

🚀 快速開始

要使用這個葡萄牙語版的GPT - Neo Small模型，你可以按照以下步驟操作：

from transformers import AutoTokenizer, AutoModelForCausalLM
  
tokenizer = AutoTokenizer.from_pretrained("HeyLucasLeao/gpt-neo-small-portuguese")

model = AutoModelForCausalLM.from_pretrained("HeyLucasLeao/gpt-neo-small-portuguese")

text = 'eu amo o brasil.'

generated = tokenizer(f'<|startoftext|> {text}',   
                      return_tensors='pt').input_ids.cuda()
                      
# 生成文本
sample_outputs = model.generate(generated, 
                 # 使用採樣而非貪心解碼
                 do_sample=True, 
                 # 僅保留概率最高的前3個標記
                 top_k=3, 
                 # 最大序列長度
                 max_length=200, 
                 # 僅保留累積概率為95%的最可能標記
                 top_p=0.95, 
                 # 改變生成序列的隨機性
                 temperature=1.9,
                 # 要生成的序列數量                 
                 num_return_sequences=3)

# 解碼並打印序列
for i, sample_output in enumerate(sample_outputs):
    print(">> Generated text {}\\\\
\\\\
{}".format(i+1, tokenizer.decode(sample_output.tolist())))

# >> Generated text
#Setting `pad_token_id` to `eos_token_id`:50256 for open-end generation.
#>> Generated text 1

#<|startoftext|> eu amo o brasil. O termo foi usado por alguns autores como uma forma de designar a formação do poder político do Brasil. A partir da década de 1960, o termo passou a ser usado para designar a formação política do Brasil. A partir de meados da década de 1970 e até o inicio dos anos 2000, o termo foi aplicado à formação político-administrativo do país, sendo utilizado por alguns autores como uma expressão de "política de direita". História Antecedentes O termo "político-administrário" foi usado pela primeira vez em 1891 por um gru
#>> Generated text 2

#<|startoftext|> eu amo o brasil. É uma das muitas pessoas do mundo, ao contrário da maioria das pessoas, que são chamados de "pessoas do Brasil", que são chamados de "brincos do país" e que têm uma carreira de mais de um século. O termo "brincal de ouro" é usado em referências às pessoas que vivem no Brasil, e que são chamados "brincos do país", que são "cidade" e que vivem na cidade de Nova York e que vive em um país onde a maior parte das pessoas são chamados de "cidades". Hist
#>> Generated text 3

#<|startoftext|> eu amo o brasil. É uma expressão que se refere ao uso de um instrumento musical em particular para se referir à qualidade musical, o que é uma expressão da qualidade da qualidade musical de uma pessoa. A expressão "amor" (em inglês, amo), é a expressão que pode ser usada com o intuito empregado em qualquer situação em que a vontade de uma pessoa de se sentir amado ou amoroso é mais do que um desejo de uma vontade. Em geral, a expressão "amoro" (do inglês, amo) pode também se referir tanto a uma pessoa como um instrumento de cordas ou de uma

✨ 主要特性

這是GPT - Neo 125M模型針對葡萄牙語進行微調後的版本，能夠更好地處理葡萄牙語相關的任務。

📦 訓練信息

📚 目標

開發這個模型的主要目的是用於教育，旨在提供一個葡萄牙語版本的模型。