Gpt2 Medium Persian

🚀 GPT2 Medium 4 Persian

このプロジェクトは、HuggingFace 組織の Flax/Jax コミュニティ週 の一部であり、TPU の使用は Google によってスポンサーされています。このプロジェクトの目的は、ペルシア語に強力なテキスト生成モデルを提供することです。

🚀 クイックスタート

このモデルを直接使用して、テキスト生成パイプラインを操作することができます。以下は Python コードの使用例です。

from transformers import pipeline, AutoTokenizer, GPT2LMHeadModel
tokenizer = AutoTokenizer.from_pretrained('flax-community/gpt2-medium-persian')
model = GPT2LMHeadModel.from_pretrained('flax-community/gpt2-medium-persian')
generator = pipeline('text-generation', model, tokenizer=tokenizer, config={'max_length':100})
generated_text = generator('در یک اتفاق شگفت انگیز، پژوهشگران')

Tensorflow を使用する場合は、GPT2LMHeadModel の代わりに TFGPT2LMHeadModel をインポートする必要があります。

✨ 主な機能

• ペルシア語のテキスト生成をサポートし、ペルシア語関連の自然言語処理タスクに強力なサポートを提供します。
• Oscar データセットを基に訓練されています。このデータセットは、Common Crawl コーパスを言語分類とフィルタリングして得られた大型の多言語コーパスであり、モデルの訓練データの質を保証します。

💻 使用例

基本的な使用法

from transformers import pipeline, AutoTokenizer, GPT2LMHeadModel
tokenizer = AutoTokenizer.from_pretrained('flax-community/gpt2-medium-persian')
model = GPT2LMHeadModel.from_pretrained('flax-community/gpt2-medium-persian')
generator = pipeline('text-generation', model, tokenizer=tokenizer, config={'max_length':100})
generated_text = generator('در یک اتفاق شگفت انگیز، پژوهشگران')

高度な使用法

Tensorflow を使用する場合は、以下のコードで操作できます。

from transformers import pipeline, AutoTokenizer, TFGPT2LMHeadModel
tokenizer = AutoTokenizer.from_pretrained('flax-community/gpt2-medium-persian')
model = TFGPT2LMHeadModel.from_pretrained('flax-community/gpt2-medium-persian')
generator = pipeline('text-generation', model, tokenizer=tokenizer, config={'max_length':100})
generated_text = generator('در یک اتفاق شگفت انگیز، پژوهشگران')

📚 ドキュメント

チームメンバー

• Mehrdad Farahani
• Saied Alimoradi
• M. Reza Zerehpoosh
• Hooman Sedghamiz
• Mazeyar Moeini Feizabadi

データセット

Oscar データセットを使用しています。これは、Common Crawl コーパスを言語分類とフィルタリングして得られた大型の多言語コーパスです。

デモ

デモは近日公開予定です。

評価

評価結果は近日発表予定です。

📄 情報テーブル