Baichuan 7B

🚀 Baichuan-7B

Baichuan-7Bは、百川智能によって開発されたオープンソースの大規模事前学習モデルです。Transformer構造に基づき、約1.2兆トークンで訓練された70億パラメータのモデルで、中国語と英語の両方をサポートし、コンテキストウィンドウの長さは4096です。標準的な中国語と英語の権威あるベンチマーク（C-EVAL/MMLU）で、同サイズのモデルの中で最高の性能を達成しています。

Baichuan-7Bを使用する場合は（推論、微調整など）、コードライブラリBaichuan-7Bの使用をおすすめします。

🚀 クイックスタート

モデルの使い方

中国語の例

以下は、Baichuan-7Bを使用して1ショット推論を行うタスクで、作品から作者名を特定する例です。正しい出力は「夜雨寄北->李商隐」です。

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("baichuan-inc/Baichuan-7B", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("baichuan-inc/Baichuan-7B", device_map="auto", trust_remote_code=True)
inputs = tokenizer('登鹳雀楼->王之涣\n夜雨寄北->', return_tensors='pt')
inputs = inputs.to('cuda:0')
pred = model.generate(**inputs, max_new_tokens=64,repetition_penalty=1.1)
print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

英語の例

以下は、Baichuan-7Bを使用して1ショット推論を行うタスクで、作品から作者名を特定する例です。正しい出力は「One Hundred Years of Solitude->Gabriel Garcia Marquez」です。

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("baichuan-inc/Baichuan-7B", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("baichuan-inc/Baichuan-7B", device_map="auto", trust_remote_code=True)
inputs = tokenizer('Hamlet->Shakespeare\nOne Hundred Years of Solitude->', return_tensors='pt')
inputs = inputs.to('cuda:0')
pred = model.generate(**inputs, max_new_tokens=64,repetition_penalty=1.1)
print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

✨ 主な機能

• 同サイズのモデルの中で、Baichuan-7Bは現在の最先端（SOTA）レベルに達しています。下記のMMLU指標を参照してください。
• Baichuan-7Bは独自の中英語バイリンガルコーパスを使用して訓練されており、中国語で最適化されており、C-EvalでSOTAレベルの性能を達成しています。
• LLaMAが商用を完全に禁止しているのとは異なり、Baichuan-7Bはより緩やかなオープンソースライセンスを採用しており、商用目的での使用が許可されています。

📚 ドキュメント

モデルの詳細

モデルの説明

• 開発元: 百川智能(Baichuan Intelligent Technology)
• メールアドレス: opensource@baichuan-inc.com
• 言語 (NLP): 中国語/英語
• ライセンス: Baichuan-7B License

モデルのソース

全体のモデルは標準的なTransformer構造に基づいており、LLaMAと同じモデル設計を採用しています。

• 位置埋め込み：rotary-embeddingを採用しており、現段階でほとんどのモデルが採用している位置符号化方式で、優れた外挿能力を持っています。
• フィードフォワード層：SwiGLUを使用しています。フィードフォワードは隠れ層のサイズの(8/3)倍に変更され、つまり11008になります。
• レイヤー正規化：RMSNormに基づくPre-Normalizationを使用しています。

具体的なパラメータは以下の通りです。

使用方法

下流タスクでの使用

本モデルに対応する訓練コードも同時にオープンソース化しており、下流タスクに対して効率的な微調整が可能です。詳細はBaichuan-7Bを参照してください。

想定外の使用

リスクを十分に評価せず、緩和策を講じないままでの本番環境での使用や、責任がない、または有害と見なされる可能性のある使用事例は避けてください。

バイアス、リスク、および制限事項

Baichuan-7Bは事実上誤った出力を生成する可能性があり、事実上正確な情報を生成するために依存するべきではありません。Baichuan-7Bは様々な公共データセットで訓練されています。事前学習データのクリーニングに多大な努力を払っていますが、このモデルが猥褻、偏見、またはその他の不快な出力を生成する可能性があります。

訓練の詳細

訓練の具体的な設定については、Baichuan-7Bを参照してください。

評価

中国語の評価

C-Eval

CEvalデータセットは、52の学科と4つの難易度レベルをカバーする包括的な中国語基礎モデル評価データセットです。このデータセットのdevセットをfew-shotのソースとして使用し、testセットで5-shotテストを行いました。

Gaokao

Gaokaoは、中国の大学入試問題を使用して大規模言語モデルの能力を評価するデータセットで、モデルの言語能力と論理推論能力を評価するために使用されます。このデータセットの中から単一選択問題のみを残し、すべてのモデルに対して統一的な5-shotテストを行いました。

以下はテストの結果です。

AGIEval

AGIEvalは、モデルの認知および問題解決に関連するタスクにおける一般的な能力を評価することを目的としています。このデータセットの中から4択の単一選択問題のみを残し、ランダムに分割してすべてのモデルに対して統一的な5-shotテストを行いました。

^*Aquilaモデルは智源官方网站から取得したもので、参考用です。

英語の評価

MMLU

MMLUは英語の評価データセットで、57の選択問題を含み、初等数学、アメリカの歴史、コンピュータサイエンス、法律などをカバーしています。難易度は高校レベルから専門家レベルまで幅広く、主流のLLM評価データセットとなっています。

オープンソースの評価スキームを採用し、最終的な5-shotの結果は以下の通りです。

モデル列の上付き文字は結果のソースを示しています。

0: 再実装
1: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
2: https://paperswithcode.com/sota/multi-task-language-understanding-on-mmlu

開発チーム