Lingowhale 8B

🚀 語鯨-8B

語鯨-8B是深言科技推出的中英雙語大語言模型，在大量高質量數據上預訓練，有強大基礎能力。模型對學術研究開放，獲官方商用許可後可免費商用，還提供便捷推理接口和微調示例。

🚀 快速開始

您可通過以下鏈接訪問項目相關資源：

• Github倉庫
• ModelScope
• Wisemodel

✨ 主要特性

• 雙語能力：在數萬億token的高質量中英數據上預訓練，支持中英雙語。
• 長上下文處理：預訓練階段使用8K上下文長度訓練，能完成長上下文理解和生成任務。
• 開放易用：對學術研究完全開放，商用申請通過後可免費商用，還提供Huggingface推理接口和參數高效微調示例。

📦 安裝指南

安裝依賴

pip install -r requirements.txt

⚠️ 重要提示

如需使用flash attention需要安裝flash-attn；如需使用LoRA等少參數微調方法需要額外安裝peft。

💻 使用示例

基礎用法

>>> from transformers import AutoModelForCausalLM, AutoTokenizer
>>> tokenizer = AutoTokenizer.from_pretrained("deeplang-ai/LingoWhale-8B", trust_remote_code=True)
>>> model = AutoModelForCausalLM.from_pretrained("deeplang-ai/LingoWhale-8B", device_map="auto", trust_remote_code=True)
>>> inputs = tokenizer("陋室銘\n唐 劉禹錫\n", return_tensors="pt")
>>> inputs = inputs.to("cuda:0")
>>> pred = model.generate(**inputs, max_new_tokens=100, repetition_penalty=1.1)
>>> print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

📚 詳細文檔

測評結果

我們在多個公開評測基準上對模型進行了測試，具體如下：

• C-Eval：中文基礎模型評估基準，用dev集作few-shot來源，在test集進行5-shot測試。
• MMLU：英文基礎模型評估基準，進行5-shot測試。
• CMMLU：中文評估基準，用dev集作few-shot來源，在test集進行5-shot測試。
• Gaokao：以中國高考題目為數據集的評估基準，保留四選一選擇題，隨機劃分後進行5-shot測試。
• HumanEval：英文評估基準，採用zero-shot計算Pass@1方法測試。
• GSM8K：小學數學應用題數據集，進行8-shot測試。
• BBH：從Big-Bench評測基準任務中選出的評估基準，進行3-shot測試。
• AGIEval：考察基礎模型類人能力的基準測試，保留四選一選擇題，隨機劃分後進行5-shot測試。

測評結果如下表所示：

*表示其模型結果來自於官方， 所有的結果都精確到小數點後1位。

生成樣例

以下是使用基於LingoWhale-8B模型微調後的對話模型生成的樣例：

import re

def is_valid_phone(phone):
    pattern = r'^1[3-9]\d{9}$'
    return bool(re.match(pattern, phone))

print(is_valid_phone('13800138000'))  # True
print(is_valid_phone('12345678901'))  # False

部署和推理

Python樣例

>>> from transformers import AutoModelForCausalLM, AutoTokenizer
>>> tokenizer = AutoTokenizer.from_pretrained("deeplang-ai/LingoWhale-8B", trust_remote_code=True)
>>> model = AutoModelForCausalLM.from_pretrained("deeplang-ai/LingoWhale-8B", device_map="auto", trust_remote_code=True)
>>> inputs = tokenizer("陋室銘\n唐 劉禹錫\n", return_tensors="pt")
>>> inputs = inputs.to("cuda:0")
>>> pred = model.generate(**inputs, max_new_tokens=100, repetition_penalty=1.1)
>>> print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

微調方法

模型微調樣例代碼以transformers.Trainer為基礎，大部分參數和使用方法可參考Huggingface中Trainer 的教程和介紹。

⚠️ 重要提示

本章節旨在展示微調過程，並不對該微調配置下進行微調後的模型效果進行保證。

單機訓練

下面是一個單機進行微調的例子，使用的數據為從COIG數據集中隨機選取的10000條指令微調數據，您可以使用自己的數據進行替換。

hostfile=""
deepspeed --hostfile=$hostfile finetune/finetune.py  \
    --report_to "none" \
    --data_path "finetune/data/coig_10k.json" \
    --model_name_or_path deeplang-ai/LingoWhale-8B \
    --output_dir "output" \
    --model_max_length 2048 \
    --num_train_epochs 4 \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 1 \
    --save_strategy epoch \
    --learning_rate 2e-5 \
    --lr_scheduler_type constant \
    --adam_beta1 0.9 \
    --adam_beta2 0.98 \
    --adam_epsilon 1e-8 \
    --max_grad_norm 1.0 \
    --weight_decay 1e-4 \
    --warmup_ratio 0.0 \
    --logging_steps 1 \
    --gradient_checkpointing True \
    --deepspeed finetune/ds_config.json \
    --bf16 True \
    --tf32 True

若要替換為自己的數據，可以使用如下格式的json文件。

[
    {
        "id": 0,
        "conversations": [
            {
                "from": "human",
                "value": "請問什麼是“模式年齡”？"
            },
            {
                "from": "model",
                "value": "模式年齡是指利用放射性衰變規律假定地質樣品形成時的初始同位素組成計算得到的年齡。"
            },
            ...
        ]
    },
    ...
]

多機訓練

多機器訓練需要編輯如下格式的hostfile文件。其中，每一行表示一個機器，ip_address-X為各個機器對應的ip地址，slots內容表示機器可用GPU數量。內容格式如下：

ip_address-1 slots=8
ip_address-2 slots=8
ip_address-3 slots=8
ip_address-4 slots=8
...

同時指定hostfile參數為hostfile文件路徑，然後運行如下命令即可啟動多機訓練。

hostfile="/path/to/hostfile"
deepspeed --hostfile=$hostfile finetune/finetune.py  \
    --report_to "none" \
    --data_path "finetune/data/coig_10k.json" \
    --model_name_or_path deeplang-ai/LingoWhale-8B \
    --output_dir "output" \
    --model_max_length 2048 \
    --num_train_epochs 4 \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 1 \
    --save_strategy epoch \
    --learning_rate 2e-5 \
    --lr_scheduler_type constant \
    --adam_beta1 0.9 \
    --adam_beta2 0.98 \
    --adam_epsilon 1e-8 \
    --max_grad_norm 1.0 \
    --weight_decay 1e-4 \
    --warmup_ratio 0.0 \
    --logging_steps 1 \
    --gradient_checkpointing True \
    --deepspeed finetune/ds_config.json \
    --bf16 True \
    --tf32 True

少參數微調

通過使用peft，可以輕鬆調LoRA, Prefix-Tuning等少參數微調的方法。目前在代碼中集合了LoRA的訓練方法，可以通過加入--use_lora True啟動。

使用LoRA訓練的checkpoint可以通過下面的代碼讀取和調用：

from peft import AutoPeftModelForCausalLM
model = AutoPeftModelForCausalLM.from_pretrained("output", trust_remote_code=True)

📄 許可證

社區使用LingoWhale-8B模型需要遵循Apache 2.0和《LingoWhale-8B模型許可協議》。若您期望將此源模型或其衍生品用作商業用途，請填寫問卷進行申請，通過後即可免費商用。