Brtgpt 124m Base

🚀 BrtGPT-124M-Base

BrtGPT-124M-Base是一個基於大量英文語料預訓練的基礎模型，可免費使用，解決了開源模型使用繁瑣和對處理能力要求高的問題。

🚀 快速開始

你可以使用該模型生成英文文本，並且可以免費使用。以下是加載模型的代碼示例：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 加載模型和分詞器
model_name = "Bertug1911/BrtGPT-124m-Base"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 輸入
prompt = "Math is so important because"

# 分詞
inputs = tokenizer(prompt, return_tensors="pt")

# 模型生成
output = model.generate(
    **inputs,
    max_new_tokens=50,
    temperature=0.01,
    top_k=1,
    do_sample=True
)

# 解碼輸出
generated_text = tokenizer.decode(output[0], skip_special_tokens=False)
generated_text = generated_text.replace(" ", "")
generated_text = generated_text.replace("Ġ", " ")
print(generated_text)

直接使用

開源模型使用起來非常繁瑣，且需要大量的處理能力，但我們的模型解決了這兩個問題：你可以從下面的鏈接免費且非常輕鬆地使用和下載它！

網頁（Gradio, Spaces）用戶界面已完成！你可以在Hugging Face Spaces上免費且輕鬆地使用它，鏈接為："https://huggingface.co/spaces/Bertug1911/BrtGPT-Web-UI"

適用範圍外的使用

該模型僅使用英文標記生成（完成）英文句子（並且包含一些日語/中文標記）。請勿嘗試使用其他語言！

✨ 主要特性

• 該模型在約500萬個英文句子標記上進行訓練。
• 與ChatGPT或LLama不同，此模型不是用於問答的，它只是在大型語料庫上進行了預訓練，是一個基礎模型。
• 可以免費且輕鬆地使用和下載。

📦 安裝指南

注意：模型於2025年6月14日再次在500萬個標記上進行訓練，如果你之前下載了權重，請重新安裝！

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 加載模型和分詞器
model_name = "Bertug1911/BrtGPT-124m-Base"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 輸入
prompt = "Math is so important because"

# 分詞
inputs = tokenizer(prompt, return_tensors="pt")

# 模型生成
output = model.generate(
    **inputs,
    max_new_tokens=50,
    temperature=0.01,
    top_k=1,
    do_sample=True
)

# 解碼輸出
generated_text = tokenizer.decode(output[0], skip_special_tokens=False)
generated_text = generated_text.replace(" ", "")
generated_text = generated_text.replace("Ġ", " ")
print(generated_text)

不同輸入的輸出示例

📚 詳細文檔

模型詳情

模型描述

請查看社區獲取非常重要的更新！

• 開發者：Bertug Gunel (Bertuğ Günel)
• 資助方：無
• 共享方：無
• 模型類型：僅解碼器的Transformer
• 語言（NLP）：英語
• 許可證：CC-BY-NC-4.0
• 微調來源模型：未進行微調

模型來源

• 倉庫：即將推出！
• 論文："Attention All You Need", 1706.03762
• 演示：該模型本身就是一個演示模型。

訓練詳情

訓練數據

注意：模型於2025年6月13日再次在500萬個標記上進行訓練，如果你之前下載了權重，請重新安裝！

模型在Train.csv（500萬個標記，15000多行）上進行訓練。

微調詳情：你可以通過此鏈接訪問微調後的模型："https://huggingface.co/Bertug1911/BrtGPT-124m-FineTuned" 注意：微調後的模型有 "model.safetensors" 文件，該文件包含權重（從此模型微調而來）。

訓練過程

模型在B200 GPU（英偉達）上訓練了21.5分鐘。

訓練超參數

• 訓練機制：訓練精度為FP16，稀疏性：關閉

評估

暫無評估（即將推出！）

環境影響

可以使用Lacoste等人（2019）提出的機器學習影響計算器來估算碳排放。

• 硬件類型：GPU
• 使用時長：0.35小時（21.5分鐘）
• 雲服務提供商："Runpod" (https://www.runpod.io/)
• 計算區域：歐盟
• 碳排放：0.138千克（138克），這相當於一個普通燈泡燃燒2.6小時的排放量。

🔧 技術細節

模型僅使用英文標記生成英文句子，並且包含一些日語/中文標記。模型在B200 GPU上訓練，訓練精度為FP16，稀疏性關閉。

📄 許可證

該模型的許可證為CC-BY-NC-4.0

🔖 其他信息

偏差、風險和限制

該模型可能會生成政治內容，請自行承擔風險。

建議

該模型沒有重大風險或偏差！你可以自由使用它（但僅限於非商業用途）。

模型卡片作者

• Bertug Gunel
• 土耳其/埃斯基謝希爾

模型卡片聯繫方式

bertugscpmail@gmail.com