Gpt2 Spanish Medium

🚀 GPT2-Spanish

GPT2-Spanishは、11.5GBのスペイン語テキストを使ってゼロから学習された言語生成モデルです。このモデルは、その目的のために学習されたByte Pair Encoding (BPE) トークナイザーを使用しています。使用されるパラメータは、元のOpenAI GPT2モデルのミディアムバージョンと同じです。

🚀 クイックスタート

GPT2-Spanishは、スペイン語の言語生成に特化したモデルです。以下のセクションでは、このモデルの詳細について説明します。

✨ 主な機能

• 11.5GBのスペイン語テキストを使ってゼロから学習された言語生成モデル。
• 独自に学習されたByte Pair Encoding (BPE) トークナイザーを使用。
• 元のOpenAI GPT2モデルのミディアムバージョンと同じパラメータを使用。

📦 インストール

READMEにインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

READMEに使用例のコードが記載されていないため、このセクションをスキップします。

📚 ドキュメント

コーパス

このモデルは、11.5GBのテキストコーパスで学習されました。このコーパスは、3.5GBのウィキペディア記事と8GBの書籍（物語、短編小説、演劇、詩、エッセイ、普及書など）から構成されています。

トークナイザー

テキストは、Byte Pair Encoding (BPE) のバイトレベルバージョン（Unicode文字用）を使用してトークン化され、語彙サイズは50257です。入力は、1024の連続したトークンのシーケンスです。

このトークナイザーは、スペイン語コーパスを使ってゼロから学習されました。英語モデルのトークナイザーは、両言語の形態構文上の違いにより、スペイン語の意味関係を捉えるのに限界があることが明らかになったためです。

OpenAI GPT - 2モデルのテキスト終了用の特殊トークン "<|endoftext|>" の他に、トークン "<|talk|>"、"<|ax1|>"、"<|ax2|>" (...) "<|ax9|>" が含まれており、将来の学習でプロンプトとして使用できます。

学習

モデルとトークナイザーは、Google Colabサーバー上の16GBメモリのNvidia Tesla V100 GPUを使用して、Hugging Faceライブラリを使って学習されました。

作成者

このモデルは、スペイン語の自然言語処理に関するオープンソースコミュニティである -Deep ESP- のメンバーであるAlejandro Oñate Latorre（スペイン）とJorge Ortiz Fuentes（チリ）によって学習されました(https://t.me/joinchat/VoEp1bPrDYEexc6h)。

初期テストの資金提供に協力してくれたコミュニティのメンバーに感謝します。

注意事項

このモデルは、学習コーパスで学習したパターンに従ってテキストを生成します。これらのデータはフィルタリングされていないため、モデルは攻撃的または差別的な内容を生成する可能性があります。

🔧 技術詳細

このモデルは、元のOpenAI GPT2モデルのミディアムバージョンと同じパラメータを使用しています。学習には、11.5GBのスペイン語テキストコーパスが使用され、Byte Pair Encoding (BPE) のバイトレベルバージョンのトークナイザーがゼロから学習されました。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。