Gpt2 Spanish

🚀 GPT2-Spanish

GPT2-Spanishは、11.5GBのスペイン語テキストを使ってゼロから学習された言語生成モデルです。このモデルは、その目的のために学習されたByte Pair Encoding (BPE) トークナイザーを使用しています。使用されるパラメータは、元のOpenAI GPT2モデルの小規模バージョンと同じです。

🚀 クイックスタート

GPT2-Spanishは、スペイン語の言語生成に特化したモデルで、多様なテキスト生成タスクに利用できます。

✨ 主な機能

• スペイン語のテキスト生成が可能です。
• 独自に学習されたトークナイザーを使用して、スペイン語の語彙を効果的に扱います。

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

ドキュメントに具体的なコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

コーパス

このモデルは、11.5GBのテキストコーパスで学習されました。これには、3.5GBのウィキペディア記事と8GBの書籍（叙事文学、短編小説、演劇、詩、エッセイ、普及書など）が含まれています。

トークナイザー

テキストは、Byte Pair Encoding (BPE) のバイトレベルバージョン（Unicode文字用）を使用してトークン化され、語彙サイズは50257です。入力は、1024個の連続したトークンのシーケンスです。

このトークナイザーは、スペイン語コーパスを使ってゼロから学習されました。英語モデルのトークナイザーは、両言語の形態構文上の違いにより、スペイン語の意味関係を捉えるのに限界があることが明らかになったためです。

OpenAI GPT - 2モデルにおけるテキスト終了用の特殊トークン "<|endoftext|>" の他に、トークン "<|talk|>"、 "<|ax1|>"、 "<|ax2|>" (..)"<|ax9|>" が含まれており、将来の学習におけるプロンプトとして利用できます。

学習

モデルとトークナイザーは、Hugging Faceのライブラリを使用して、Google Colabサーバー上の16GBメモリのNvidia Tesla V100 GPUで学習されました。

著者

このモデルは、スペイン語の自然言語処理に関するオープンソースコミュニティである -Deep ESP- のメンバーであるAlejandro Oñate Latorre（スペイン）とJorge Ortiz Fuentes（チリ）によって学習されました。(https://t.me/joinchat/VoEp1bPrDYEexc6h)

初期テストの資金提供に協力してくれたコミュニティのメンバーに感謝します。

注意事項

モデルは、学習コーパスで学習したパターンに従ってテキストを生成します。これらのデータはフィルタリングされていないため、モデルは攻撃的または差別的な内容を生成する可能性があります。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。