Opt 350m Email Generation

🚀 opt for email generation - 350M

如果你想节省撰写邮件的时间，那么这个项目将为你提供解决方案，它可以自动生成邮件内容。

如果你可以自动生成邮件，为何还要手动撰写剩余部分呢？

from transformers import pipeline

model_tag = "pszemraj/opt-350m-email-generation"
generator = pipeline(
              'text-generation', 
              model=model_tag, 
              use_fast=False,
              do_sample=False,
              early_stopping=True,
            )
            
prompt = """
Hello, 

Following up on the bubblegum shipment."""

generator(
    prompt,
    max_length=64,
) # generate

• Colab上的笔记本链接

⚠️ 重要提示

对于这个模型，格式很重要。上述结构的输入和 prompt = "Hey, just wanted to ..." 等不同格式的输入，生成结果可能（显著）不同。

📚 详细文档

模型描述

• 该模型是 facebook/opt-350m 在 aeslc 数据集上微调6个轮次后的版本。
• 在数据集准备阶段，尝试使用Python的 clean-text 工具排除邮件、电话号码等信息。
• 注意，API限制生成64个标记 - 你可以通过在文本生成 pipeline 对象中使用该模型来生成更长的邮件。

预期用途和限制

• Facebook/Meta 明智地为该模型制定了自定义许可证，其中规定了若干事项。详情请见 facebook/opt-350m。

训练和评估数据

• 使用 aeslc 数据集中训练集和验证集（获取更多数据）的 email_body 字段。

训练过程

训练超参数

训练过程中使用了以下超参数：

• 学习率：6e-05
• 训练批次大小：8
• 评估批次大小：8
• 随机种子：42
• 分布式类型：多GPU
• 梯度累积步数：16
• 总训练批次大小：128
• 优化器：Adam，β=(0.9,0.999)，ε=1e-08
• 学习率调度器类型：余弦
• 学习率调度器热身比例：0.03
• 轮数：6

框架版本

• Transformers 4.19.2
• Pytorch 1.11.0+cu113
• Tokenizers 0.12.1

📄 许可证

本项目使用其他许可证，详情请见相关说明。

📦 模型信息

🎛️ 推理参数

💻 示例

示例输入

以下是一些示例输入及标题：

• 标题："newsletter"

Hey <NAME>,

Thank you for signing up for my weekly newsletter. Before we get started, you'll have to confirm your email address.

• 标题："fan"

Hi <NAME>,

I hope this email finds you well. Let me start by saying that I am a big fan of your work.

• 标题："festival"

Greetings <NAME>,

I hope you had a splendid evening at the Company sausage eating festival. I am reaching out because

• 标题："value"

Good Morning <NAME>,

I was just thinking to myself about how much I love creating value

• 标题："URGENT"

URGENT - I need