Tinystories Gpt 0.1 3m GGUF

🚀 Tinystories-gpt-0.1-3m-GGUF

本項目提供了來自 segestic 的 Tinystories-gpt-0.1-3m 模型的量化 GGUF 模型文件。該項目旨在利用 Hugging Face 的 Transformers 庫，在消費級 GPU 上基於 GPT2 架構重新創建 TinyStories 模型，而非原論文中使用的 GPT-Neo 架構。最終輸出的模型大小為 15MB，擁有 300 萬個參數。

🚀 快速開始

模型信息

原模型說明

我們嘗試使用 Hugging Face 的 Transformers 庫，在消費級 GPU 上使用 GPT2 架構重新創建 TinyStories 模型，而非原論文（https://arxiv.org/abs/2305.07759）中最初使用的 GPT-Neo 架構。輸出的模型大小為 15MB，有 300 萬個參數。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("segestic/Tinystories-gpt-0.1-3m")

model = AutoModelForCausalLM.from_pretrained("segestic/Tinystories-gpt-0.1-3m")

prompt = "Once upon a time there was"

input_ids = tokenizer.encode(prompt, return_tensors="pt")
# 生成完成文本
output = model.generate(input_ids, max_length = 1000, num_beams=1)
# 解碼完成文本
output_text = tokenizer.decode(output[0], skip_special_tokens=True)
# 打印生成的文本
print(output_text)

高級用法

# 使用管道作為高級輔助工具
from transformers import pipeline
# 創建管道
pipe = pipeline("text-generation", model="segestic/Tinystories-gpt-0.1-3m")
# 輸入提示
prompt = "where is the little girl"
# 生成完成文本
output = pipe(prompt, max_length=1000, num_beams=1)
# 解碼完成文本
generated_text = output[0]['generated_text']
# 打印生成的文本
print(generated_text)