Gpt2 Persian

🚀 GPT2-Persian

bolbolzaban/gpt2-persian は、標準の gpt2-medium と類似したハイパーパラメータで訓練された GPT2 言語モデルです。以下の点が異なります。

1. コンテキストサイズを 1024 から 256 サブワードに縮小し、訓練を安価にしています。
2. トークン化には BPE ではなく、Google の SentencePiece トークナイザーを使用しています。
3. 訓練データセットはペルシャ語のテキストのみを含み、すべての非ペルシャ語文字は特殊トークン（例: [LAT], [URL], [NUM]）に置き換えられています。

詳細については、この ブログ記事 を参照してください。また、この モデル を試してみるか、Bolbolzaban.com で試すことができます。

🚀 クイックスタート

モデルの使用方法

このモデルは、テキスト生成用のパイプラインで直接使用できます。

from transformers import pipeline, AutoTokenizer, GPT2LMHeadModel
tokenizer = AutoTokenizer.from_pretrained('bolbolzaban/gpt2-persian')
model = GPT2LMHeadModel.from_pretrained('bolbolzaban/gpt2-persian')
generator = pipeline('text-generation', model, tokenizer=tokenizer, config={'max_length':256})
sample = generator('در یک اتفاق شگفت انگیز، پژوهشگران')

TensorFlow を使用している場合は、GPT2LMHeadModel の代わりに TFGPT2LMHeadModel をインポートしてください。

ファインチューニング

基本的なファインチューニングの例は、この Github リポジトリ で見つけることができます。

特殊トークン

gpt-persian はペルシャ語の詩の研究を目的として訓練されています。そのため、すべての英語の単語と数字は特殊トークンに置き換えられ、入力テキストには標準のペルシャ語アルファベットのみが使用されます。以下に例を示します。

元のテキスト: اگر آیفون یا آیپد شما دارای سیستم عامل iOS 14.3 یا iPadOS 14.3 یا نسخه‌های جدیدتر باشد 訓練で使用されるテキスト: اگر آیفون یا آیپد شما دارای سیستم عامل [LAT] [NUM] یا [LAT] [NUM] یا نسخه‌های جدیدتر باشد

入力テキストを Hazm または同様のライブラリを使用して正規化し、入力としてペルシャ語文字のみを提供することを検討してください。

古典的なペルシャ語の詩を入力として使用する場合は、各詩行（مصرع）の先頭に [BOM]（メスラの始まり）を、各対句（بیت）の末尾に [EOS]（文の終わり）を使用してください。

例については以下のリンクを参照してください。

[BOM] توانا بود [BOM] توانا بود هر که دانا بود [BOM] [BOM] توانا بود هر که دانا بود [BOM] ز دانش دل پیر [BOM] توانا بود هر که دانا بود [BOM] ز دانش دل پیربرنا بود [EOS]

古典的なペルシャ語の詩の構造について知りたい場合は、これらの ブログ記事 を参照してください。

謝辞

このプロジェクトは、Google の TensorFlow Research Cloud (TFRC) からの Cloud TPU の支援を受けています。

引用と参照

研究や商用アプリケーションで gpt2-persian を使用する場合は、「bolbolzaban.com」ウェブサイトを参照してください。

連絡先

モデルの使用に関する質問やヘルプが必要な場合は、Linkedin または Telegram で連絡してください。

Bolbolzaban を Twitter、Telegram または Instagram でフォローしてください。

📄 ライセンス

このプロジェクトは Apache-2.0 ライセンスの下で提供されています。