Gpt2 Medium Dutch Embeddings

🚀 オランダ語用に再利用されたGPT - 2（ミディアム、適応型語彙埋め込み）

このモデルは、OpenAIのミディアムサイズのGPT - 2モデルをベースに、オランダ語用に再利用されたものです。語彙埋め込みを適応させることで、オランダ語のテキスト生成に特化しています。

🚀 クイックスタート

このモデルを使用するには、以下のコードを参考にしてください。

基本的な使用法

from transformers import pipeline

pipe = pipeline("text-generation", model="GroNLP/gpt2-medium-dutch-embeddings")

高度な使用法

from transformers import AutoTokenizer, AutoModel, TFAutoModel

tokenizer = AutoTokenizer.from_pretrained("GroNLP/gpt2-medium-dutch-embeddings")
model = AutoModel.from_pretrained("GroNLP/gpt2-medium-dutch-embeddings")  # PyTorch
model = TFAutoModel.from_pretrained("GroNLP/gpt2-medium-dutch-embeddings")  # Tensorflow

✨ 主な機能

• このモデルは、ミディアムサイズのOpenAI GPT - 2（gpt2-medium）モデルをベースにしています。
• Transformer層の重みは元の英語モデルと同じですが、語彙層はオランダ語の語彙に合わせて再学習されています。

📚 ドキュメント

モデルの説明

このモデルは、ミディアムサイズのOpenAI GPT - 2（gpt2-medium）モデルをベースに構築されています。Transformer層の重みは元の英語モデルと同一ですが、語彙層はオランダ語の語彙に合わせて再学習されています。詳細については、arXivの論文とGithubのコードを参照してください。

関連モデル

オランダ語モデル

• gpt2-small-dutch-embeddings：小規模モデルで、語彙埋め込みのみ再学習されています。
• gpt2-small-dutch：小規模モデルで、語彙埋め込みを再学習し、さらにモデル全体を微調整しています。（推奨）
• gpt2-medium-dutch-embeddings：ミディアムサイズのモデルで、語彙埋め込みのみ再学習されています。

イタリア語モデル

• gpt2-small-italian-embeddings：小規模モデルで、語彙埋め込みのみ再学習されています。
• gpt2-small-italian：小規模モデルで、語彙埋め込みを再学習し、さらにモデル全体を微調整しています。（推奨）
• gpt2-medium-italian-embeddings：ミディアムサイズのモデルで、語彙埋め込みのみ再学習されています。

📄 ライセンス

BibTeX引用

@misc{devries2020good,
      title={As good as new. How to successfully recycle English GPT-2 to make models for other languages}, 
      author={Wietse de Vries and Malvina Nissim},
      year={2020},
      eprint={2012.05628},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}