Lingowhale 8B

🚀 語鯨-8B (LingoWhale-8B)

語鯨-8Bは深言科技が提供する中英バイリンガルの大規模言語モデルです。このモデルは数兆のトークンを持つ高品質な中英データで事前学習され、多くの公開評価ベンチマークで優れた性能を発揮します。また、学術研究に完全に開放されており、商用許可を取得すれば無料で商用利用することができます。

🚀 クイックスタート

モデルのダウンロード

以下のリンクからモデルをダウンロードできます。

• 🚀 Github Repo
• 🤖 ModelScope
• ⛵ Wisemodel

依存関係のインストール

pip install -r requirements.txt

• flash attentionを使用する場合は、flash-attnをインストールする必要があります。
• LoRAなどの少パラメータ微調整方法を使用する場合は、peftを追加でインストールする必要があります。

Pythonサンプルコード

>>> from transformers import AutoModelForCausalLM, AutoTokenizer
>>> tokenizer = AutoTokenizer.from_pretrained("deeplang-ai/LingoWhale-8B", trust_remote_code=True)
>>> model = AutoModelForCausalLM.from_pretrained("deeplang-ai/LingoWhale-8B", device_map="auto", trust_remote_code=True)
>>> inputs = tokenizer("陋室铭\n唐 刘禹锡\n", return_tensors="pt")
>>> inputs = inputs.to("cuda:0")
>>> pred = model.generate(**inputs, max_new_tokens=100, repetition_penalty=1.1)
>>> print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

✨ 主な機能

• 中英バイリンガル対応：高品質な中英データで事前学習され、中英両言語でのテキスト生成が可能です。
• 強力な基礎能力：多くの公開評価ベンチマークで優れた性能を発揮し、長文脈の理解と生成タスクも処理できます。
• 学術研究と商用の両立：学術研究に完全に開放されており、商用許可を取得すれば無料で商用利用することができます。
• 使いやすいインターフェース：Huggingfaceの推論インターフェースとLoRAなどのパラメータ効率的な微調整例を提供し、開発者が迅速にモデルを使用できるようにしています。

📦 インストール

依存関係のインストール方法は以下の通りです。

pip install -r requirements.txt

• flash attentionを使用する場合は、flash-attnをインストールする必要があります。
• LoRAなどの少パラメータ微調整方法を使用する場合は、peftを追加でインストールする必要があります。

💻 使用例

基本的な使用法

>>> from transformers import AutoModelForCausalLM, AutoTokenizer
>>> tokenizer = AutoTokenizer.from_pretrained("deeplang-ai/LingoWhale-8B", trust_remote_code=True)
>>> model = AutoModelForCausalLM.from_pretrained("deeplang-ai/LingoWhale-8B", device_map="auto", trust_remote_code=True)
>>> inputs = tokenizer("陋室铭\n唐 刘禹锡\n", return_tensors="pt")
>>> inputs = inputs.to("cuda:0")
>>> pred = model.generate(**inputs, max_new_tokens=100, repetition_penalty=1.1)
>>> print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

高度な使用法

# 高度なシナリオでの使用例
# 例えば、特定のタスクに対する微調整や、ハイパーパラメータの調整など

📚 ドキュメント

モデルの詳細

語鯨-8Bは深言科技が提供する中英バイリンガルの大規模言語モデルです。このモデルは数兆のトークンを持つ高品質な中英データで事前学習され、多くの公開評価ベンチマークで優れた性能を発揮します。また、事前学習段階では8Kのコンテキスト長で学習されており、長文脈の理解と生成タスクも処理できます。

評価結果

以下の公開評価ベンチマークでテストを行いました。

評価方法と結果は以下の表に示します。

* モデルの結果は公式から取得したもので、すべての結果は小数点以下1位まで丸められています。

生成サンプル

以下は、語鯨-8BモデルをオープンソースのSFTデータで微調整した対話モデルを使用して生成されたサンプルです。

import re

def is_valid_phone(phone):
    pattern = r'^1[3-9]\d{9}$'
    return bool(re.match(pattern, phone))

print(is_valid_phone('13800138000'))  # True
print(is_valid_phone('12345678901'))  # False

デプロイと推論

依存関係のインストール

pip install -r requirements.txt

• flash attentionを使用する場合は、flash-attnをインストールする必要があります。
• LoRAなどの少パラメータ微調整方法を使用する場合は、peftを追加でインストールする必要があります。

Pythonサンプルコード

>>> from transformers import AutoModelForCausalLM, AutoTokenizer
>>> tokenizer = AutoTokenizer.from_pretrained("deeplang-ai/LingoWhale-8B", trust_remote_code=True)
>>> model = AutoModelForCausalLM.from_pretrained("deeplang-ai/LingoWhale-8B", device_map="auto", trust_remote_code=True)
>>> inputs = tokenizer("陋室铭\n唐 刘禹锡\n", return_tensors="pt")
>>> inputs = inputs.to("cuda:0")
>>> pred = model.generate(**inputs, max_new_tokens=100, repetition_penalty=1.1)
>>> print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

微調整方法

モデルの微調整サンプルコードはtransformers.Trainerをベースに作成されており、大部分のパラメータと使用方法はHuggingfaceのTrainerのチュートリアルと説明を参照することができます。

この章では微調整のプロセスを示すことを目的としており、この微調整設定で微調整されたモデルの性能を保証するものではありません。

シングルマシンでのトレーニング

以下は、シングルマシンで微調整を行う例です。使用するデータはCOIGデータセットからランダムに選択された10000件の指令微調整データです。独自のデータを使用することもできます。

hostfile=""
deepspeed --hostfile=$hostfile finetune/finetune.py  \
    --report_to "none" \
    --data_path "finetune/data/coig_10k.json" \
    --model_name_or_path deeplang-ai/LingoWhale-8B \
    --output_dir "output" \
    --model_max_length 2048 \
    --num_train_epochs 4 \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 1 \
    --save_strategy epoch \
    --learning_rate 2e-5 \
    --lr_scheduler_type constant \
    --adam_beta1 0.9 \
    --adam_beta2 0.98 \
    --adam_epsilon 1e-8 \
    --max_grad_norm 1.0 \
    --weight_decay 1e-4 \
    --warmup_ratio 0.0 \
    --logging_steps 1 \
    --gradient_checkpointing True \
    --deepspeed finetune/ds_config.json \
    --bf16 True \
    --tf32 True

独自のデータを使用する場合は、以下の形式のjsonファイルを使用することができます。

[
    {
        "id": 0,
        "conversations": [
            {
                "from": "human",
                "value": "「モード年齢」とは何ですか？"
            },
            {
                "from": "model",
                "value": "モード年齢は、放射性崩壊の法則を利用して、地質試料が形成されたときの初期同位体組成を仮定して計算された年齢を指します。"
            },
            ...
        ]
    },
    ...
]

マルチマシンでのトレーニング

マルチマシンでのトレーニングには、以下の形式のhostfileファイルを編集する必要があります。各行は1つのマシンを表し、ip_address-Xは各マシンのIPアドレスで、slotsの内容はマシンで利用可能なGPUの数を表します。内容の形式は以下の通りです。

ip_address-1 slots=8
ip_address-2 slots=8
ip_address-3 slots=8
ip_address-4 slots=8
...

同時に、hostfileパラメータをhostfileファイルのパスに指定し、以下のコマンドを実行することで、マルチマシンでのトレーニングを開始することができます。

hostfile="/path/to/hostfile"
deepspeed --hostfile=$hostfile finetune/finetune.py  \
    --report_to "none" \
    --data_path "finetune/data/coig_10k.json" \
    --model_name_or_path deeplang-ai/LingoWhale-8B \
    --output_dir "output" \
    --model_max_length 2048 \
    --num_train_epochs 4 \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 1 \
    --save_strategy epoch \
    --learning_rate 2e-5 \
    --lr_scheduler_type constant \
    --adam_beta1 0.9 \
    --adam_beta2 0.98 \
    --adam_epsilon 1e-8 \
    --max_grad_norm 1.0 \
    --weight_decay 1e-4 \
    --warmup_ratio 0.0 \
    --logging_steps 1 \
    --gradient_checkpointing True \
    --deepspeed finetune/ds_config.json \
    --bf16 True \
    --tf32 True

少パラメータ微調整

peftを使用することで、LoRA、Prefix-Tuningなどの少パラメータ微調整方法を簡単に適用することができます。現在のコードではLoRAのトレーニング方法が集積されており、--use_lora Trueを追加することで起動することができます。

LoRAトレーニングのチェックポイントは、以下のコードで読み込んで呼び出すことができます。

from peft import AutoPeftModelForCausalLM
model = AutoPeftModelForCausalLM.from_pretrained("output", trust_remote_code=True)

🔧 技術詳細

• 事前学習データ：数兆のトークンを持つ高品質な中英データで事前学習されています。
• コンテキスト長：事前学習段階では8Kのコンテキスト長で学習されており、長文脈の理解と生成タスクも処理できます。
• 微調整方法：transformers.Trainerをベースにした微調整サンプルコードを提供しており、シングルマシンとマルチマシンでのトレーニング、少パラメータ微調整（LoRAなど）もサポートしています。

📄 ライセンス

コミュニティで語鯨-8Bモデルを使用する場合は、Apache 2.0と《語鯨-8Bモデル許諾契約書》に従う必要があります。このソースモデルまたはその派生物を商用目的で使用する場合は、アンケートに記入して申請し、承認されると無料で商用利用することができます。

⚠️ 重要提示

モデルのパラメータ数の影響により、大規模言語モデルに固有の幻覚問題や数学計算能力が比較的弱いといった問題は、語鯨-8Bモデルにも依然として存在します。使用する前にこれらの問題を理解し、潜在的なリスクを評価してください。将来の語鯨モデルのバージョンでは、これらの問題に重点的に取り組んで改善されます。