Gpt2 Horoscopes

🚀 GPT2-Horoscopes

GPT2-Horoscopes是一個基於GPT2模型微調的項目，它能根據星座運勢的類別生成對應的運勢內容，數據來源於Horoscopes.com網站。

🚀 快速開始

點擊下方按鈕在Streamlit中打開應用：

✨ 主要特性

• 基於GPT2模型，在星座運勢數據集上進行微調。
• 支持多種星座運勢類別，如綜合、事業、愛情、健康、生日等。
• 可以直接使用HuggingFace的pipeline API進行調用。

📦 安裝指南

該模型可直接使用HuggingFace的pipeline API，以下是安裝和加載模型的示例代碼：

from transformers import AutoTokenizer, AutoModelWithLMHead

tokenizer = AutoTokenizer.from_pretrained("shahp7575/gpt2-horoscopes")
model = AutoModelWithLMHead.from_pretrained("shahp7575/gpt2-horoscopes")

💻 使用示例

基礎用法

輸入文本格式為：<|category|> {category_type} <|horoscope|> 支持的類別有：general, career, love, wellness, birthday

以下是一個示例代碼：

prompt = "<|category|> career <|horoscope|>"
prompt_encoded = torch.tensor(tokenizer.encode(prompt)).unsqueeze(0)
sample_outputs = model.generate(prompt_encoded, 
                                do_sample=True,   
                                top_k=40, 
                                max_length = 300,
                                top_p=0.95,
                                temperature=0.95,
                                num_return_sequences=1)

此外，也可以參考這個生成腳本。

📚 詳細文檔

訓練數據

數據集從Horoscopes.com網站爬取，涵蓋5個類別，總共約12k條星座運勢數據。該數據集可以在Kaggle上找到。

訓練過程

模型使用GPT2的預訓練權重，然後在星座運勢數據集上針對5個不同類別進行微調。為了讓模型理解不同類別的星座運勢，在訓練數據中加入了特殊標記<|category|>來分隔類別。

訓練參數：

評估結果

損失值：2.77

侷限性

該模型僅在按類別劃分的星座運勢數據上進行了微調，它並不代表實際的星座運勢，僅用於教育和學習目的。

📄 參考文獻

• Rey Farhan的 - 微調GPT2筆記本
• Jonathan Bgn - 使用GPT - 2構建口號生成器