Brtgpt 124m Base

🚀 BrtGPT-124M-Base

BrtGPT-124M-Base是一个基于大量英文语料预训练的基础模型，可免费使用，解决了开源模型使用繁琐和对处理能力要求高的问题。

🚀 快速开始

你可以使用该模型生成英文文本，并且可以免费使用。以下是加载模型的代码示例：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 加载模型和分词器
model_name = "Bertug1911/BrtGPT-124m-Base"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 输入
prompt = "Math is so important because"

# 分词
inputs = tokenizer(prompt, return_tensors="pt")

# 模型生成
output = model.generate(
    **inputs,
    max_new_tokens=50,
    temperature=0.01,
    top_k=1,
    do_sample=True
)

# 解码输出
generated_text = tokenizer.decode(output[0], skip_special_tokens=False)
generated_text = generated_text.replace(" ", "")
generated_text = generated_text.replace("Ġ", " ")
print(generated_text)

直接使用

开源模型使用起来非常繁琐，且需要大量的处理能力，但我们的模型解决了这两个问题：你可以从下面的链接免费且非常轻松地使用和下载它！

网页（Gradio, Spaces）用户界面已完成！你可以在Hugging Face Spaces上免费且轻松地使用它，链接为："https://huggingface.co/spaces/Bertug1911/BrtGPT-Web-UI"

适用范围外的使用

该模型仅使用英文标记生成（完成）英文句子（并且包含一些日语/中文标记）。请勿尝试使用其他语言！

✨ 主要特性

• 该模型在约500万个英文句子标记上进行训练。
• 与ChatGPT或LLama不同，此模型不是用于问答的，它只是在大型语料库上进行了预训练，是一个基础模型。
• 可以免费且轻松地使用和下载。

📦 安装指南

注意：模型于2025年6月14日再次在500万个标记上进行训练，如果你之前下载了权重，请重新安装！

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 加载模型和分词器
model_name = "Bertug1911/BrtGPT-124m-Base"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 输入
prompt = "Math is so important because"

# 分词
inputs = tokenizer(prompt, return_tensors="pt")

# 模型生成
output = model.generate(
    **inputs,
    max_new_tokens=50,
    temperature=0.01,
    top_k=1,
    do_sample=True
)

# 解码输出
generated_text = tokenizer.decode(output[0], skip_special_tokens=False)
generated_text = generated_text.replace(" ", "")
generated_text = generated_text.replace("Ġ", " ")
print(generated_text)

不同输入的输出示例

📚 详细文档

模型详情

模型描述

请查看社区获取非常重要的更新！

• 开发者：Bertug Gunel (Bertuğ Günel)
• 资助方：无
• 共享方：无
• 模型类型：仅解码器的Transformer
• 语言（NLP）：英语
• 许可证：CC-BY-NC-4.0
• 微调来源模型：未进行微调

模型来源

• 仓库：即将推出！
• 论文："Attention All You Need", 1706.03762
• 演示：该模型本身就是一个演示模型。

训练详情

训练数据

注意：模型于2025年6月13日再次在500万个标记上进行训练，如果你之前下载了权重，请重新安装！

模型在Train.csv（500万个标记，15000多行）上进行训练。

微调详情：你可以通过此链接访问微调后的模型："https://huggingface.co/Bertug1911/BrtGPT-124m-FineTuned" 注意：微调后的模型有 "model.safetensors" 文件，该文件包含权重（从此模型微调而来）。

训练过程

模型在B200 GPU（英伟达）上训练了21.5分钟。

训练超参数

• 训练机制：训练精度为FP16，稀疏性：关闭

评估

暂无评估（即将推出！）

环境影响

可以使用Lacoste等人（2019）提出的机器学习影响计算器来估算碳排放。

• 硬件类型：GPU
• 使用时长：0.35小时（21.5分钟）
• 云服务提供商："Runpod" (https://www.runpod.io/)
• 计算区域：欧盟
• 碳排放：0.138千克（138克），这相当于一个普通灯泡燃烧2.6小时的排放量。

🔧 技术细节

模型仅使用英文标记生成英文句子，并且包含一些日语/中文标记。模型在B200 GPU上训练，训练精度为FP16，稀疏性关闭。

📄 许可证

该模型的许可证为CC-BY-NC-4.0

🔖 其他信息

偏差、风险和限制

该模型可能会生成政治内容，请自行承担风险。

建议

该模型没有重大风险或偏差！你可以自由使用它（但仅限于非商业用途）。

模型卡片作者

• Bertug Gunel
• 土耳其/埃斯基谢希尔

模型卡片联系方式

bertugscpmail@gmail.com