Brtgpt 124m Base

🚀 BrtGPT-124M-Base

BrtGPT-124M-Baseは、大量の英語コーパスで事前学習された基礎モデルです。無料で利用でき、オープンソースモデルの使い勝手が悪いことと、大量の処理能力が必要な問題を解決します。

🚀 クイックスタート

このモデルを使用して英語の文章を生成することができ、無料で利用できます。以下はモデルをロードするコード例です。

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 加载模型和分词器
model_name = "Bertug1911/BrtGPT-124m-Base"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 输入
prompt = "Math is so important because"

# 分词
inputs = tokenizer(prompt, return_tensors="pt")

# 模型生成
output = model.generate(
    **inputs,
    max_new_tokens=50,
    temperature=0.01,
    top_k=1,
    do_sample=True
)

# 解码输出
generated_text = tokenizer.decode(output[0], skip_special_tokens=False)
generated_text = generated_text.replace(" ", "")
generated_text = generated_text.replace("Ġ", " ")
print(generated_text)

直接利用

オープンソースモデルは使い勝手が悪く、大量の処理能力が必要ですが、当社のモデルはこの2つの問題を解決しました。以下のリンクから無料で簡単に利用およびダウンロードできます！

Web（Gradio, Spaces）ユーザーインターフェースが完成しました！Hugging Face Spacesで無料で簡単に利用できます。リンクはこちら："https://huggingface.co/spaces/Bertug1911/BrtGPT-Web-UI"

適用範囲外の利用

このモデルは英語のトークンのみを使用して英語の文章を生成（完成）します（一部の日本語/中国語のトークンも含まれます）。他の言語での利用は避けてください！

✨ 主な機能

• このモデルは約500万個の英語の文章トークンで学習されています。
• ChatGPTやLLamaとは異なり、このモデルは質問応答用ではなく、大規模なコーパスで事前学習された基礎モデルです。
• 無料で簡単に利用およびダウンロードできます。

📦 インストール

注意：モデルは2025年6月14日に再度500万個のトークンで学習されました。以前に重みをダウンロードした場合は、再インストールしてください！

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 加载模型和分词器
model_name = "Bertug1911/BrtGPT-124m-Base"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 输入
prompt = "Math is so important because"

# 分词
inputs = tokenizer(prompt, return_tensors="pt")

# 模型生成
output = model.generate(
    **inputs,
    max_new_tokens=50,
    temperature=0.01,
    top_k=1,
    do_sample=True
)

# 解码输出
generated_text = tokenizer.decode(output[0], skip_special_tokens=False)
generated_text = generated_text.replace(" ", "")
generated_text = generated_text.replace("Ġ", " ")
print(generated_text)

異なる入力による出力例

📚 ドキュメント

モデル詳細

モデルの説明

非常に重要な更新については、コミュニティをご確認ください！

• 開発者：Bertug Gunel (Bertuğ Günel)
• 資金提供元：なし
• 共有元：なし
• モデルタイプ：デコーダーのみのTransformer
• 言語（NLP）：英語
• ライセンス：CC - BY - NC - 4.0
• ファインチューニング元モデル：ファインチューニングされていません

モデルの出所

• リポジトリ：近日公開！
• 論文："Attention All You Need", 1706.03762
• デモ：このモデル自体がデモモデルです。

学習詳細

学習データ

注意：モデルは2025年6月13日に再度500万個のトークンで学習されました。以前に重みをダウンロードした場合は、再インストールしてください！

モデルはTrain.csv（500万個のトークン、15000行以上）で学習されています。

ファインチューニングの詳細：ファインチューニングされたモデルには、このリンクからアクセスできます："https://huggingface.co/Bertug1911/BrtGPT-124m-FineTuned" 注意：ファインチューニングされたモデルには "model.safetensors" ファイルがあり、これには重みが含まれています（このモデルからファインチューニングされています）。

学習過程

モデルはB200 GPU（NVIDIA）で21.5分間学習されました。

学習ハイパーパラメータ

• 学習メカニズム：学習精度はFP16、疎度：オフ

評価

評価はまだ行われていません（近日公開！）

環境への影響

Lacosteら（2019）によって提案された機械学習影響計算機を使用して、炭素排出量を推定できます。

• ハードウェアタイプ：GPU
• 使用時間：0.35時間（21.5分）
• クラウドサービスプロバイダー："Runpod" (https://www.runpod.io/)
• 計算地域：欧州連合
• 炭素排出量：0.138キログラム（138グラム）、これは一般的な電球が2.6時間燃焼する際の排出量に相当します。

🔧 技術詳細

モデルは英語のトークンのみを使用して英語の文章を生成し、一部の日本語/中国語のトークンも含まれます。モデルはB200 GPUで学習され、学習精度はFP16、疎度はオフです。

📄 ライセンス

このモデルのライセンスはCC - BY - NC - 4.0です。

🔖 その他の情報

バイアス、リスク、制限

このモデルは政治的な内容を生成する可能性があります。自己責任でご利用ください。

提案

このモデルには重大なリスクやバイアスはありません！自由に利用できます（ただし、非商用目的に限ります）。

モデルカードの作成者

• Bertug Gunel
• トルコ/エスキシヒル

モデルカードの連絡先

bertugscpmail@gmail.com