Airoboros Gpt 3.5 Turbo 100k 7b

🚀 airoboros-gpt-3.5-turbo-100k-7b

本項目是一個基於70億參數的模型，在由gpt-3.5-turbo使用我開發的 airoboros 版本的自指令方法生成的10萬個合成指令/響應對上進行了微調。該模型的上下文長度為2048。

🚀 快速開始

本倉庫中的內容較舊，使用的是舊的提示格式，你可以查看 airoboros-13b。

✨ 主要特性

• 基於70億參數，在大量合成指令/響應對上微調。
• 上下文長度達2048。
• 與130億參數的模型相比，表現良好。

📦 安裝指南

文檔未提供安裝相關內容，暫不展示安裝指南。

💻 使用示例

基礎用法

使用此模型最簡單的方法是通過fastchat：

python -m fastchat.serve.cli --model-path ./airoboros-gpt-3.5-turbo-100k-7b --temperature 1.0

高級用法

以下是一個使用示例，展示如何使用該模型生成一封介紹新指令微調AI模型 airoboros 的郵件：

Human: Write an email introducing a new instruction-tuned AI model named airoboros.  The key features about airoboros are: 1. it was fine-tuned with entirely machine-generated synthetic instruction/response pairs  2. the 7 billion parameter model performs very well in comparison to 13b models  3. the synthetic prompt generation tool is free, open-source, and highly customizable.
Assistant: Subject: Introducing airoboros - a new instruction-tuned AI model

Dear [Recipient],

I am excited to introduce a new instruction-tuned AI model named airoboros. This model was developed by our team with the aim of providing high-quality natural language processing capabilities at scale.

airoboros is a 7 billion parameter model that was fine-tuned with entirely machine-generated synthetic instruction/response pairs. This approach allowed us to achieve state-of-the-art performance in various NLP tasks such as question answering, sentiment analysis, and machine translation. In fact, when compared to other popular 13b models, airoboros performed better on several benchmarks.

Moreover, airoboros's synthetic prompt generation tool is free, open-source, and highly customizable. This means that developers can easily integrate our model into their applications without having to worry about licensing fees or restrictions.

We believe that airoboros will be an excellent addition to your workflow and hope you find it useful. If you have any questions or concerns, please do not hesitate to contact us.

Best regards,

[Your Name]

[Your Company Name]

⚠️ 重要提示

這是一個指令微調模型，不太適合用於聊天。

📚 詳細文檔

提示生成

airoboros generate-instructions --instruction-count 100000 --concurrency 100 --temperature 1.0

微調

將 instructions.jsonl 文件轉換為 FastChat 訓練腳本所需的對話風格，然後使用以下命令進行訓練：

torchrun --nproc_per_node=8 --master_port=20001 train_mem.py \
        --model_name_or_path /workspace/llama-7b-hf \
        --data_path ./as_conversations.json \
        --bf16 True \
        --output_dir /workspace/airoboros-gpt-3.5-100k-7b \
        --num_train_epochs 3 \
        --per_device_train_batch_size 4 \
        --per_device_eval_batch_size 32 \
        --gradient_accumulation_steps 4 \
        --evaluation_strategy "steps" \
        --eval_steps 1500 \
        --save_strategy "steps" \
        --save_steps 1500 \
        --save_total_limit 8 \
        --learning_rate 2e-5 \
        --weight_decay 0. \
        --warmup_ratio 0.04 \
        --lr_scheduler_type "cosine" \
        --logging_steps 1 \
        --fsdp "full_shard auto_wrap offload" \
        --fsdp_transformer_layer_cls_to_wrap 'LlamaDecoderLayer' \
        --tf32 True \
        --model_max_length 2048 \
        --gradient_checkpointing True \
        --lazy_preprocess True

在8塊英偉達A100 80GB GPU上訓練大約需要22小時。

轉換為對話風格的代碼如下：

import json
import uuid
inputs = [json.loads(line) for line in open("instructions.jsonl").readlines()]
conversations = []
for row in inputs:
    inputs = row['instruction']
    conversations.append({
        "id": str(uuid.uuid4()),
        "conversations": [
            {
                "from": "human",
                "value": inputs,
            },
            {
                "from": "gpt",
                "value": row['response']
            },
        ],
    })
with open("as_conversations.json", "w") as outfile:
    outfile.write(json.dumps(conversations, indent=2))

評估

我使用了 WizardVicunaLM 中的相同問題進行評估：

如果以gpt-3.5為基線（與wizardvicuna/vicuna的做法相同），我們得到以下分數：

平均分數：

gpt3.5                             1.000000
wizard-vicuna-13b                  0.934090
vicuna-13b                         0.900847
wizard-7b                          0.902428
airoboros-gpt-3.5-turbo-100k-7b    0.926496

可以看出，70億參數的 airoboros 模型表現出色，即使與130億參數的模型相比也是如此。

🔧 技術細節

文檔未提供技術細節相關內容，暫不展示技術細節。

📄 許可證

所有 airoboros 模型和數據集僅用於研究目的並獲得相應許可。我使用了 'cc-nc-4.0' 許可證，但實際上它受自定義/特殊許可證的約束，原因如下：

• 基礎模型是 LLaMa，它有自己的特殊研究許可證。
• 數據集是使用 OpenAI（gpt-4 和/或 gpt-3.5-turbo）生成的，OpenAI 有條款規定數據不能用於創建與 OpenAI 競爭的模型。

因此，再次強調：此模型（和數據集）不能用於商業用途。