Airoboros Gpt 3.5 Turbo 100k 7b

🚀 airoboros-gpt-3.5-turbo-100k-7b

本项目是一个基于70亿参数的模型，在由gpt-3.5-turbo使用我开发的 airoboros 版本的自指令方法生成的10万个合成指令/响应对上进行了微调。该模型的上下文长度为2048。

🚀 快速开始

本仓库中的内容较旧，使用的是旧的提示格式，你可以查看 airoboros-13b。

✨ 主要特性

• 基于70亿参数，在大量合成指令/响应对上微调。
• 上下文长度达2048。
• 与130亿参数的模型相比，表现良好。

📦 安装指南

文档未提供安装相关内容，暂不展示安装指南。

💻 使用示例

基础用法

使用此模型最简单的方法是通过fastchat：

python -m fastchat.serve.cli --model-path ./airoboros-gpt-3.5-turbo-100k-7b --temperature 1.0

高级用法

以下是一个使用示例，展示如何使用该模型生成一封介绍新指令微调AI模型 airoboros 的邮件：

Human: Write an email introducing a new instruction-tuned AI model named airoboros.  The key features about airoboros are: 1. it was fine-tuned with entirely machine-generated synthetic instruction/response pairs  2. the 7 billion parameter model performs very well in comparison to 13b models  3. the synthetic prompt generation tool is free, open-source, and highly customizable.
Assistant: Subject: Introducing airoboros - a new instruction-tuned AI model

Dear [Recipient],

I am excited to introduce a new instruction-tuned AI model named airoboros. This model was developed by our team with the aim of providing high-quality natural language processing capabilities at scale.

airoboros is a 7 billion parameter model that was fine-tuned with entirely machine-generated synthetic instruction/response pairs. This approach allowed us to achieve state-of-the-art performance in various NLP tasks such as question answering, sentiment analysis, and machine translation. In fact, when compared to other popular 13b models, airoboros performed better on several benchmarks.

Moreover, airoboros's synthetic prompt generation tool is free, open-source, and highly customizable. This means that developers can easily integrate our model into their applications without having to worry about licensing fees or restrictions.

We believe that airoboros will be an excellent addition to your workflow and hope you find it useful. If you have any questions or concerns, please do not hesitate to contact us.

Best regards,

[Your Name]

[Your Company Name]

⚠️ 重要提示

这是一个指令微调模型，不太适合用于聊天。

📚 详细文档

提示生成

airoboros generate-instructions --instruction-count 100000 --concurrency 100 --temperature 1.0

微调

将 instructions.jsonl 文件转换为 FastChat 训练脚本所需的对话风格，然后使用以下命令进行训练：

torchrun --nproc_per_node=8 --master_port=20001 train_mem.py \
        --model_name_or_path /workspace/llama-7b-hf \
        --data_path ./as_conversations.json \
        --bf16 True \
        --output_dir /workspace/airoboros-gpt-3.5-100k-7b \
        --num_train_epochs 3 \
        --per_device_train_batch_size 4 \
        --per_device_eval_batch_size 32 \
        --gradient_accumulation_steps 4 \
        --evaluation_strategy "steps" \
        --eval_steps 1500 \
        --save_strategy "steps" \
        --save_steps 1500 \
        --save_total_limit 8 \
        --learning_rate 2e-5 \
        --weight_decay 0. \
        --warmup_ratio 0.04 \
        --lr_scheduler_type "cosine" \
        --logging_steps 1 \
        --fsdp "full_shard auto_wrap offload" \
        --fsdp_transformer_layer_cls_to_wrap 'LlamaDecoderLayer' \
        --tf32 True \
        --model_max_length 2048 \
        --gradient_checkpointing True \
        --lazy_preprocess True

在8块英伟达A100 80GB GPU上训练大约需要22小时。

转换为对话风格的代码如下：

import json
import uuid
inputs = [json.loads(line) for line in open("instructions.jsonl").readlines()]
conversations = []
for row in inputs:
    inputs = row['instruction']
    conversations.append({
        "id": str(uuid.uuid4()),
        "conversations": [
            {
                "from": "human",
                "value": inputs,
            },
            {
                "from": "gpt",
                "value": row['response']
            },
        ],
    })
with open("as_conversations.json", "w") as outfile:
    outfile.write(json.dumps(conversations, indent=2))

评估

我使用了 WizardVicunaLM 中的相同问题进行评估：

如果以gpt-3.5为基线（与wizardvicuna/vicuna的做法相同），我们得到以下分数：

平均分数：

gpt3.5                             1.000000
wizard-vicuna-13b                  0.934090
vicuna-13b                         0.900847
wizard-7b                          0.902428
airoboros-gpt-3.5-turbo-100k-7b    0.926496

可以看出，70亿参数的 airoboros 模型表现出色，即使与130亿参数的模型相比也是如此。

🔧 技术细节

文档未提供技术细节相关内容，暂不展示技术细节。

📄 许可证

所有 airoboros 模型和数据集仅用于研究目的并获得相应许可。我使用了 'cc-nc-4.0' 许可证，但实际上它受自定义/特殊许可证的约束，原因如下：

• 基础模型是 LLaMa，它有自己的特殊研究许可证。
• 数据集是使用 OpenAI（gpt-4 和/或 gpt-3.5-turbo）生成的，OpenAI 有条款规定数据不能用于创建与 OpenAI 竞争的模型。

因此，再次强调：此模型（和数据集）不能用于商业用途。