Opt 350m Email Generation

🚀 opt for email generation - 350M

如果你想節省撰寫郵件的時間，那麼這個項目將為你提供解決方案，它可以自動生成郵件內容。

如果你可以自動生成郵件，為何還要手動撰寫剩餘部分呢？

from transformers import pipeline

model_tag = "pszemraj/opt-350m-email-generation"
generator = pipeline(
              'text-generation', 
              model=model_tag, 
              use_fast=False,
              do_sample=False,
              early_stopping=True,
            )
            
prompt = """
Hello, 

Following up on the bubblegum shipment."""

generator(
    prompt,
    max_length=64,
) # generate

• Colab上的筆記本鏈接

⚠️ 重要提示

對於這個模型，格式很重要。上述結構的輸入和 prompt = "Hey, just wanted to ..." 等不同格式的輸入，生成結果可能（顯著）不同。

📚 詳細文檔

模型描述

• 該模型是 facebook/opt-350m 在 aeslc 數據集上微調6個輪次後的版本。
• 在數據集準備階段，嘗試使用Python的 clean-text 工具排除郵件、電話號碼等信息。
• 注意，API限制生成64個標記 - 你可以通過在文本生成 pipeline 對象中使用該模型來生成更長的郵件。

預期用途和限制

• Facebook/Meta 明智地為該模型制定了自定義許可證，其中規定了若干事項。詳情請見 facebook/opt-350m。

訓練和評估數據

• 使用 aeslc 數據集中訓練集和驗證集（獲取更多數據）的 email_body 字段。

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：6e-05
• 訓練批次大小：8
• 評估批次大小：8
• 隨機種子：42
• 分佈式類型：多GPU
• 梯度累積步數：16
• 總訓練批次大小：128
• 優化器：Adam，β=(0.9,0.999)，ε=1e-08
• 學習率調度器類型：餘弦
• 學習率調度器熱身比例：0.03
• 輪數：6

框架版本

• Transformers 4.19.2
• Pytorch 1.11.0+cu113
• Tokenizers 0.12.1

📄 許可證

本項目使用其他許可證，詳情請見相關說明。

📦 模型信息

🎛️ 推理參數

💻 示例

示例輸入

以下是一些示例輸入及標題：

• 標題："newsletter"

Hey <NAME>,

Thank you for signing up for my weekly newsletter. Before we get started, you'll have to confirm your email address.

• 標題："fan"

Hi <NAME>,

I hope this email finds you well. Let me start by saying that I am a big fan of your work.

• 標題："festival"

Greetings <NAME>,

I hope you had a splendid evening at the Company sausage eating festival. I am reaching out because

• 標題："value"

Good Morning <NAME>,

I was just thinking to myself about how much I love creating value

• 標題："URGENT"

URGENT - I need