Lingowhale 8B

🚀 语鲸-8B

语鲸-8B是深言科技推出的中英双语大语言模型，在大量高质量数据上预训练，有强大基础能力。模型对学术研究开放，获官方商用许可后可免费商用，还提供便捷推理接口和微调示例。

🚀 快速开始

您可通过以下链接访问项目相关资源：

• Github仓库
• ModelScope
• Wisemodel

✨ 主要特性

• 双语能力：在数万亿token的高质量中英数据上预训练，支持中英双语。
• 长上下文处理：预训练阶段使用8K上下文长度训练，能完成长上下文理解和生成任务。
• 开放易用：对学术研究完全开放，商用申请通过后可免费商用，还提供Huggingface推理接口和参数高效微调示例。

📦 安装指南

安装依赖

pip install -r requirements.txt

⚠️ 重要提示

如需使用flash attention需要安装flash-attn；如需使用LoRA等少参数微调方法需要额外安装peft。

💻 使用示例

基础用法

>>> from transformers import AutoModelForCausalLM, AutoTokenizer
>>> tokenizer = AutoTokenizer.from_pretrained("deeplang-ai/LingoWhale-8B", trust_remote_code=True)
>>> model = AutoModelForCausalLM.from_pretrained("deeplang-ai/LingoWhale-8B", device_map="auto", trust_remote_code=True)
>>> inputs = tokenizer("陋室铭\n唐 刘禹锡\n", return_tensors="pt")
>>> inputs = inputs.to("cuda:0")
>>> pred = model.generate(**inputs, max_new_tokens=100, repetition_penalty=1.1)
>>> print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

📚 详细文档

测评结果

我们在多个公开评测基准上对模型进行了测试，具体如下：

• C-Eval：中文基础模型评估基准，用dev集作few-shot来源，在test集进行5-shot测试。
• MMLU：英文基础模型评估基准，进行5-shot测试。
• CMMLU：中文评估基准，用dev集作few-shot来源，在test集进行5-shot测试。
• Gaokao：以中国高考题目为数据集的评估基准，保留四选一选择题，随机划分后进行5-shot测试。
• HumanEval：英文评估基准，采用zero-shot计算Pass@1方法测试。
• GSM8K：小学数学应用题数据集，进行8-shot测试。
• BBH：从Big-Bench评测基准任务中选出的评估基准，进行3-shot测试。
• AGIEval：考察基础模型类人能力的基准测试，保留四选一选择题，随机划分后进行5-shot测试。

测评结果如下表所示：

*表示其模型结果来自于官方， 所有的结果都精确到小数点后1位。

生成样例

以下是使用基于LingoWhale-8B模型微调后的对话模型生成的样例：

import re

def is_valid_phone(phone):
    pattern = r'^1[3-9]\d{9}$'
    return bool(re.match(pattern, phone))

print(is_valid_phone('13800138000'))  # True
print(is_valid_phone('12345678901'))  # False

部署和推理

Python样例

>>> from transformers import AutoModelForCausalLM, AutoTokenizer
>>> tokenizer = AutoTokenizer.from_pretrained("deeplang-ai/LingoWhale-8B", trust_remote_code=True)
>>> model = AutoModelForCausalLM.from_pretrained("deeplang-ai/LingoWhale-8B", device_map="auto", trust_remote_code=True)
>>> inputs = tokenizer("陋室铭\n唐 刘禹锡\n", return_tensors="pt")
>>> inputs = inputs.to("cuda:0")
>>> pred = model.generate(**inputs, max_new_tokens=100, repetition_penalty=1.1)
>>> print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

微调方法

模型微调样例代码以transformers.Trainer为基础，大部分参数和使用方法可参考Huggingface中Trainer 的教程和介绍。

⚠️ 重要提示

本章节旨在展示微调过程，并不对该微调配置下进行微调后的模型效果进行保证。

单机训练

下面是一个单机进行微调的例子，使用的数据为从COIG数据集中随机选取的10000条指令微调数据，您可以使用自己的数据进行替换。

hostfile=""
deepspeed --hostfile=$hostfile finetune/finetune.py  \
    --report_to "none" \
    --data_path "finetune/data/coig_10k.json" \
    --model_name_or_path deeplang-ai/LingoWhale-8B \
    --output_dir "output" \
    --model_max_length 2048 \
    --num_train_epochs 4 \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 1 \
    --save_strategy epoch \
    --learning_rate 2e-5 \
    --lr_scheduler_type constant \
    --adam_beta1 0.9 \
    --adam_beta2 0.98 \
    --adam_epsilon 1e-8 \
    --max_grad_norm 1.0 \
    --weight_decay 1e-4 \
    --warmup_ratio 0.0 \
    --logging_steps 1 \
    --gradient_checkpointing True \
    --deepspeed finetune/ds_config.json \
    --bf16 True \
    --tf32 True

若要替换为自己的数据，可以使用如下格式的json文件。

[
    {
        "id": 0,
        "conversations": [
            {
                "from": "human",
                "value": "请问什么是“模式年龄”？"
            },
            {
                "from": "model",
                "value": "模式年龄是指利用放射性衰变规律假定地质样品形成时的初始同位素组成计算得到的年龄。"
            },
            ...
        ]
    },
    ...
]

多机训练

多机器训练需要编辑如下格式的hostfile文件。其中，每一行表示一个机器，ip_address-X为各个机器对应的ip地址，slots内容表示机器可用GPU数量。内容格式如下：

ip_address-1 slots=8
ip_address-2 slots=8
ip_address-3 slots=8
ip_address-4 slots=8
...

同时指定hostfile参数为hostfile文件路径，然后运行如下命令即可启动多机训练。

hostfile="/path/to/hostfile"
deepspeed --hostfile=$hostfile finetune/finetune.py  \
    --report_to "none" \
    --data_path "finetune/data/coig_10k.json" \
    --model_name_or_path deeplang-ai/LingoWhale-8B \
    --output_dir "output" \
    --model_max_length 2048 \
    --num_train_epochs 4 \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 1 \
    --save_strategy epoch \
    --learning_rate 2e-5 \
    --lr_scheduler_type constant \
    --adam_beta1 0.9 \
    --adam_beta2 0.98 \
    --adam_epsilon 1e-8 \
    --max_grad_norm 1.0 \
    --weight_decay 1e-4 \
    --warmup_ratio 0.0 \
    --logging_steps 1 \
    --gradient_checkpointing True \
    --deepspeed finetune/ds_config.json \
    --bf16 True \
    --tf32 True

少参数微调

通过使用peft，可以轻松调LoRA, Prefix-Tuning等少参数微调的方法。目前在代码中集合了LoRA的训练方法，可以通过加入--use_lora True启动。

使用LoRA训练的checkpoint可以通过下面的代码读取和调用：

from peft import AutoPeftModelForCausalLM
model = AutoPeftModelForCausalLM.from_pretrained("output", trust_remote_code=True)

📄 许可证

社区使用LingoWhale-8B模型需要遵循Apache 2.0和《LingoWhale-8B模型许可协议》。若您期望将此源模型或其衍生品用作商业用途，请填写问卷进行申请，通过后即可免费商用。