Gpt2 Horoscopes

🚀 GPT2-Horoscopes

GPT2を使った星座占い生成モデルで、特定のカテゴリに基づいて星座占いを生成します。

🚀 クイックスタート

このリンクから直接アプリを試すことができます。

✨ 主な機能

GPT2を、Horoscopes.com からスクレイピングした星座占いデータセットでファインチューニングしたモデルです。このモデルは、星座占いのカテゴリを指定することで、星座占いを生成します。

📦 インストール

このモデルはHuggingFaceの pipeline APIを使用して直接利用できます。

from transformers import AutoTokenizer, AutoModelWithLMHead

tokenizer = AutoTokenizer.from_pretrained("shahp7575/gpt2-horoscopes")
model = AutoModelWithLMHead.from_pretrained("shahp7575/gpt2-horoscopes")

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelWithLMHead

tokenizer = AutoTokenizer.from_pretrained("shahp7575/gpt2-horoscopes")
model = AutoModelWithLMHead.from_pretrained("shahp7575/gpt2-horoscopes")

高度な使用法

入力テキストの形式は <|category|> {category_type} <|horoscope|> です。 サポートされているカテゴリは general, career, love, wellness, birthday です。

prompt = <|category|> career <|horoscope|>
prompt_encoded = torch.tensor(tokenizer.encode(prompt)).unsqueeze(0)
sample_outputs = model.generate(prompt, 
                                do_sample=True,   
                                top_k=40, 
                                max_length = 300,
                                top_p=0.95,
                                temperature=0.95,
                                num_return_sequences=1)

参考までに、この生成スクリプトも使用できます。

📚 ドキュメント

訓練データ

データセットは、Horoscopes.com から5つのカテゴリでスクレイピングされ、合計約12,000の星座占いが含まれています。このデータセットは Kaggle で見つけることができます。

訓練手順

このモデルは GPT2 のチェックポイントを使用し、その後、5つの異なるカテゴリの星座占いデータセットでファインチューニングされます。ファインチューニングされたモデルの目標は、異なるカテゴリタイプのさまざまな星座占いを理解することでもあったため、カテゴリ は特別なトークン <|category|> で区切って訓練データに追加されます。

訓練パラメータ:

• EPOCHS = 5
• LEARNING RATE = 5e-4
• WARMUP STEPS = 1e2
• EPSILON = 1e-8
• SEQUENCE LENGTH = 300

評価結果

損失: 2.77

制限事項

このモデルは、カテゴリ別の星座占いでのみファインチューニングされています。これらは実際の星座占いを表すものではなく、またそのような試みもしていません。これは教育および学習目的のみで開発されています。

🔗 参考文献

• Rey Farhan's - Fine-tuning GPT2 Notebook

• Jonathan Bgn - Building a Slogan Generator with GPT-2