Gptuz

🚀 GPTuzmodel

GPTuzは、GPT - 2の小規模モデルに基づく、ウズベク語用の最先端の言語モデルです。このモデルは、NVIDIA V100 32GBのGPUと0.53GBのデータ（kun.uzから取得）を使用し、転移学習とファインチューニング技術により、1日以上かけて訓練されました。

🚀 クイックスタート

GPTuzモデルを使った基本的なコードの使い方を紹介します。

基本的な使用法

from transformers import AutoTokenizer, AutoModelWithLMHead
import torch

tokenizer = AutoTokenizer.from_pretrained("rifkat/GPTuz")
model = AutoModelWithLMHead.from_pretrained("rifkat/GPTuz")

tokenizer.model_max_length=1024 

高度な使用法

単語生成

text = "Covid-19 га қарши эмлаш бошланди,"
inputs = tokenizer(text, return_tensors="pt")

outputs = model(**inputs, labels=inputs["input_ids"])
loss, logits = outputs[:2]
predicted_index = torch.argmax(logits[0, -1, :]).item()
predicted_text = tokenizer.decode([predicted_index])

print('input text:', text)
print('predicted text:', predicted_text)

完全なシーケンス生成

text = "Covid-19 га қарши эмлаш бошланди, "
inputs = tokenizer(text, return_tensors="pt")

sample_outputs = model.generate(inputs.input_ids,
                                pad_token_id=50256,
                                do_sample=True, 
                                max_length=50, # 必要なトークン数を指定
                                top_k=40,
                                num_return_sequences=1)

for i, sample_output in enumerate(sample_outputs):
    print(">> Generated text {}\n\n{}".format(i+1, tokenizer.decode(sample_output.tolist())))

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で公開されています。

📚 引用

@misc {rifkat_davronov_2022,
    authors       = { {Adilova Fatima,Rifkat Davronov, Samariddin Kushmuratov, Ruzmat Safarov} },
    title        = { GPTuz (Revision 2a7e6c0) },
    year         = 2022,
    url          = { https://huggingface.co/rifkat/GPTuz },
    doi          = { 10.57967/hf/0143 },
    publisher    = { Hugging Face }
}