Gpt2 Small Spanish

🚀 GPT2-small-spanish: スペイン語テキスト生成用の言語モデル (その他のNLPタスクも可能...)

このモデルは、GPT - 2 smallモデルに基づく最先端のスペイン語言語モデルです。スペイン語のWikipediaデータを使って訓練され、テキスト生成やその他のNLPタスクに役立ちます。

🚀 クイックスタート

GPT2-small-spanishは、GPT - 2 smallモデルをベースにしたスペイン語用の最先端の言語モデルです。

このモデルは、転移学習と微調整技術を用いてスペイン語版Wikipediaで訓練されました。訓練には、11GBのDDR5を搭載した4つのNVIDIA GTX 1080 - Ti GPUを使用し、約3GBの（前処理済み）訓練データを用いて約70時間かかりました。

英語で事前学習されたGPT - 2 small を、fastai v2 というディープラーニングフレームワークに組み込まれたHugging Faceライブラリ（TransformersとTokenizers）を使って微調整しました。fastai v2のすべての微調整技術が使用されました。

訓練は、Pierre Guillouによって開発されたGPorTuguese - 2 モデルをベースに行われました。訓練の詳細は、この記事 "Faster than training from scratch — Fine - tuning the English GPT - 2 in any language with Hugging Face and fastai v2 (practical case with Portuguese)" に記載されています。

この予備版は、現在Hugging Faceで利用可能です。

🔧 技術詳細

制限事項とバイアス

（元のGPorTuguese - 2モデルから引用）このモデルの訓練データはスペイン語版Wikipediaから取得されています。このデータには、ネット上の多くの未フィルターのコンテンツが含まれており、中立性に欠けることが知られています。openAIチーム自身がモデルカードで指摘しているように：

「GPT - 2のような大規模言語モデルは事実と虚構を区別できないため、生成されたテキストが真実であることを要求するユースケースをサポートしていません。さらに、GPT - 2のような言語モデルは、訓練に使用されたシステムに内在するバイアスを反映しているため、デプロイ担当者がまず対象のユースケースに関連するバイアスの調査を行わない限り、人間とやり取りするシステムにデプロイすることはお勧めしません。我々は、774Mと1.5Bの間で、性別、人種、および宗教的バイアスの調査において統計的に有意な差を見つけませんでした。これは、GPT - 2のすべてのバージョンが、人間の属性に関するバイアスに敏感なユースケースに関して同程度の注意を払って取り扱われるべきことを意味します。」

作成者

このモデルは、スペイン語で機械学習を学ぶ場であるDatificate の創設者であるJosué Obregon とBerny Carrera によって訓練および評価されました。

訓練は、慶熙大学のIAI Lab の複数のGPU（NVIDIA GTX1080 - Ti）の計算能力によって可能になりました。Josuéは、産業用人工知能の博士研究員としてこの研究室に所属しています。

前述の通り、この作業は主にPierre GUILLOU の作業をベースにしています。

📄 ライセンス

このモデルは、Apache - 2.0ライセンスの下で提供されています。