Gpt2 Turkish 900m

🚀 GPT-2 Türkçe Modeli

GPT-2 Türkçe Modeliは、Türkçe言語に特化した大規模言語モデルで、LLM（Large Language Model）のカテゴリに属しています。このモデルは、GPT-2アーキテクチャに基づいて構築され、トークナイザーの構造が特別に設計されたTürkçe言語モデルを表しています。

🚀 クイックスタート

GPT-2 Türkçe Modeliは、特定の開始テキストを使用して人間に似たテキストを生成する能力を持ち、広範なTürkçeテキストデータセットで訓練されています。

✨ 主な機能

• 特定の開始テキストを使用して、人間に似たTürkçeテキストを生成することができます。
• 広範なTürkçeテキストデータセットで訓練されており、多様なテキスト生成タスクに対応できます。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

# Model ile çıkarım yapmak için örnek kod

from transformers import GPT2Tokenizer, GPT2LMHeadModel

model_name = "cenkersisman/gpt2-turkish-128-token"
tokenizer = GPT2Tokenizer.from_pretrained(model_name)
model = GPT2LMHeadModel.from_pretrained(model_name)

prompt = "okyanusun derinliklerinde bulunan"
input_ids = tokenizer.encode(prompt, return_tensors="pt")
output = model.generate(input_ids, max_length=100, pad_token_id=tokenizer.eos_token_id)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

注意事項

⚠️ 重要提示

モデルは大文字小文字を区別するため、プロンプトはすべて小文字で記述する必要があります。

🔧 技術詳細

モデルの説明

GPT-2 Türkçe Modeliは、GPT-2アーキテクチャに基づいて構築され、トークナイザーの構造が特別に設計されたTürkçe言語モデルを表しています。

訓練データ

モデルの訓練には、9億文字のウィキペディアデータセットが使用されました。訓練データセット内の文は、最大128トークン（トークン = 語根と接辞）で構成されているため、生成される文の長さに制限があります。

訓練環境

Türkçeの音節構造に適したトークナイザーが使用され、モデルは750万ステップで約154エポック訓練されました。訓練には、4GBのメモリを持つNvidia Geforce RTX 3050 GPUが使用され、16GBの共有GPUも利用され、訓練中に合計20GBのメモリが使用されます。

訓練曲線

📄 ライセンス

このモデルは、特定のデータセットで訓練されており、そのデータセットには、侮辱的な言葉や露骨な表現、不適切な行動を引き起こすテキストが含まれていることが知られています。使用シナリオによっては、このモデルが社会的に受け入れられないテキストを生成する可能性があります。

すべての言語モデルと同様に、このモデルが特定の入力にどのように応答するかを事前に予測することは困難であり、警告なしに攻撃的な内容が生成される可能性があります。結果を公開する前に、望ましくない内容を検閲し、結果の品質を向上させるために、人間が出力を検査またはフィルタリングすることをお勧めします。