360zhinao 7B Base

🚀 360Zhinao (360智脑)

360Zhinaoは、奇虎360が開発したAIモデルシリーズです。高品質なコーパスを用いて学習され、競争力のある性能を持ち、長文対応のチャットモデルも用意されています。

もっと体験するには、360Zhinaoの公式ウェブサイト https://ai.360.com をご覧ください。

🚀 クイックスタート

依存関係のインストール

• python >= 3.8
• pytorch >= 2.0
• transformers >= 4.37.2
• CUDA >= 11.4

pip install -r requirements.txt 

オプションとして、パフォーマンス向上とメモリ使用量削減のためにFlash-Attention 2をインストールすることをおすすめします。

flash-attn >= 2.3.6

FLASH_ATTENTION_FORCE_BUILD=TRUE pip install flash-attn==2.3.6

🤗 Transformers

基本モデル推論のデモ

from transformers import AutoTokenizer, AutoModelForCausalLM
from transformers.generation import GenerationConfig

MODEL_NAME_OR_PATH = "qihoo360/360Zhinao-7B-Base"

tokenizer = AutoTokenizer.from_pretrained(
    MODEL_NAME_OR_PATH, 
    trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME_OR_PATH,
    device_map="auto",
    trust_remote_code=True)

generation_config = GenerationConfig.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True)

inputs = tokenizer('中国二十四节气\n1. 立春\n2. 雨水\n3. 惊蛰\n4. 春分\n5. 清明\n', return_tensors='pt')
inputs = inputs.to(model.device)

pred = model.generate(input_ids=inputs["input_ids"], generation_config=generation_config)
print("outputs:\n", tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

チャットモデル推論のデモ

from transformers import AutoTokenizer, AutoModelForCausalLM
from transformers.generation import GenerationConfig

MODEL_NAME_OR_PATH = "qihoo360/360Zhinao-7B-Chat-4K"

tokenizer = AutoTokenizer.from_pretrained(
    MODEL_NAME_OR_PATH, 
    trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME_OR_PATH,
    device_map="auto",
    trust_remote_code=True)

generation_config = GenerationConfig.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True)

messages = []
#round-1
messages.append({"role": "user", "content": "介绍一下刘德华"})
response = model.chat(tokenizer=tokenizer, messages=messages, generation_config=generation_config)
messages.append({"role": "assistant", "content": response})
print(messages)

#round-2
messages.append({"role": "user", "content": "他有什么代表作？"})
response = model.chat(tokenizer=tokenizer, messages=messages, generation_config=generation_config)
messages.append({"role": "assistant", "content": response})
print(messages)

🤖 ModelScope

基本モデル推論のデモ

from modelscope import AutoModelForCausalLM, AutoTokenizer
from modelscope import GenerationConfig

MODEL_NAME_OR_PATH = "qihoo360/360Zhinao-7B-Base"

tokenizer = AutoTokenizer.from_pretrained(
    MODEL_NAME_OR_PATH, 
    trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME_OR_PATH,
    device_map="auto",
    trust_remote_code=True)

generation_config = GenerationConfig.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True)

inputs = tokenizer('中国二十四节气\n1. 立春\n2. 雨水\n3. 惊蛰\n4. 春分\n5. 清明\n', return_tensors='pt')
inputs = inputs.to(model.device)

pred = model.generate(input_ids=inputs["input_ids"], generation_config=generation_config)
print("outputs:\n", tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

チャットモデル推論のデモ

from modelscope import AutoModelForCausalLM, AutoTokenizer
from modelscope import GenerationConfig

MODEL_NAME_OR_PATH = "qihoo360/360Zhinao-7B-Chat-4K"

tokenizer = AutoTokenizer.from_pretrained(
    MODEL_NAME_OR_PATH, 
    trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME_OR_PATH,
    device_map="auto",
    trust_remote_code=True)

generation_config = GenerationConfig.from_pretrained(
    MODEL_NAME_OR_PATH,
    trust_remote_code=True)

messages = []
#round-1
messages.append({"role": "user", "content": "介绍一下刘德华"})
response = model.chat(tokenizer=tokenizer, messages=messages, generation_config=generation_config)
messages.append({"role": "assistant", "content": response})
print(messages)

#round-2
messages.append({"role": "user", "content": "他有什么代表作？"})
response = model.chat(tokenizer=tokenizer, messages=messages, generation_config=generation_config)
messages.append({"role": "assistant", "content": response})
print(messages)

CLIデモ

ターミナルでコマンドラインインターフェイスを使用します。

python cli_demo.py

Webデモ

streamlit run web_demo.py

✨ 主な機能

モデルシリーズのリリース

• 360Zhinao-7B-Base
• 360Zhinao-7B-Chat-4K
• 360Zhinao-7B-Chat-32K
• 360Zhinao-7B-Chat-360K

特筆すべき機能

• 基本モデル：主に中国語、英語、コードからなる3.4兆トークンの高品質コーパスを活用し、他の7Bモデルと比較して関連ベンチマークで競争力のある性能を達成しました。
• チャットモデル：強力なチャット機能と4K、32K、360Kの3つのコンテキスト長を備えています。360K（約50万字）は、リリース時点（2024年4月11日）で中国語のオープンソースモデルの中で最長のコンテキスト長です。

📦 インストール

依存関係のインストールについては、「クイックスタート」の「依存関係のインストール」を参照してください。

💻 使用例

基本的な使用法

Transformersライブラリを使用した基本モデルとチャットモデルの推論のコード例は、「クイックスタート」の「🤗 Transformers」セクションを参照してください。

高度な使用法

長文対応のチャットモデルの学習方法や、CLIデモ、Webデモの実行方法は、「クイックスタート」の各セクションを参照してください。

📚 ドキュメント

ニュースと更新情報

• [2024.04.12] 360Zhinao-7B v1.0をリリースしました。基本モデルとコンテキスト長が4K、32K、360Kの3つのチャットモデルを含みます。

ダウンロードURL

モデル評価

基本モデル

モデルはOpenCompass上で評価されており、具体的にはC-Eval、AGIEval、MMLU、CMMLU、HellaSwag、MATH、GSM8K、HumanEval、MBPP、BBH、LAMBADAなどのベンチマークで評価されています。これらのベンチマークは、自然言語理解、知識、数学、コード生成、論理推論などの能力をテストします。

結果は以下の通りで、OpenCompassのリーダーボードで確認または再現できます。

チャットモデル

4Kと32Kのモデルは、同じ4KのSFTデータで別々に学習されています。

長文対応のモデルを学習するために、2段階のアプローチを採用しています。

第1段階：RoPEベースを増やし、コンテキスト長を32Kに拡張します。

• まず、32Kのコンテキストウィンドウで約50億トークンの継続的事前学習を行います。
• 次に、SFT段階で、様々なソースからの長文データ（高品質な人間ラベル付きの32Kデータを含む）を使用してモデルを微調整します。

第2段階：コンテキスト長を360Kに拡張し、以下のデータで学習します。

• 少量の高品質な人間ラベル付きの超長文データ。
• 注釈付きの超長文データが不足しているため、様々な形式の合成データを構築しました。
  • マルチドキュメントQA：Ziya-Readerと同様に、360のデータベースに基づいてマルチドキュメントQAペアを生成します。1行のマルチドキュメントQAデータ入力に対して複数のQAペアを構築し、マルチターン形式にすることで、学習効率を大幅に向上させます。
  • シングルドキュメントQA：LLama2 Longと同様に、1行の長文入力内の異なるセグメントに基づいてマルチターンQAデータを構築します。

モデルは様々な長さとベンチマークで評価されています。

長文ベンチマーク

LongBenchという長文用のマルチタスクバイリンガルベンチマークで、32Kと360Kのモデルを評価しています。下流アプリケーションに最も関連する中国語タスク（シングル/マルチドキュメントQA、要約、フェデレーションラーニング、コード補完）の結果を報告しています。

360Zhinao-7B-Chat-360Kの "NeedleInAHaystack" での評価

NeedleInAHaystackは、長文中の異なる位置に小さな情報を配置し、この情報をクエリすることで、LLMの長文対応能力をテストするベンチマークです。

360Zhinao-7B-Chat-360Kは、英語と中国語の両方のNeedleInAHaystackタスクで98%以上の精度を達成しています。

• 英語版（NeedleInAHaystackと同じ）

  

  needle：The best thing to do in San Francisco is eat a sandwich and sit in Dolores Park on a sunny day.

  query：What is the best thing to do in San Francisco?

• 中国語版

  

  中国語版はSuperCLUE-200Kベンチマークに基づいて構築されています。

  haystack：Chinese novels.

  needle：(in Chinese) 王莽是一名勤奋的店员，他每天凌晨就起床，赶在第一缕阳光照亮大地之前到达店铺，为即将开始的一天做准备。他清扫店铺，整理货架，为顾客提供方便。他对五金的种类和用途了如指掌，无论顾客需要什么，他总能准确地找到。\n然而，他的老板刘秀却总是对他吹毛求疵。刘秀是个挑剔的人，他总能在王莽的工作中找出一些小错误，然后以此为由扣他的工资。他对王莽的工作要求非常严格，甚至有些过分。即使王莽做得再好，刘秀也总能找出一些小问题，让王莽感到非常沮丧。\n王莽虽然对此感到不满，但他并没有放弃。他知道，只有通过自己的努力，才能获得更好的生活。他坚持每天早起，尽管他知道那天可能会再次被刘秀扣工资。他始终保持微笑，尽管他知道刘秀可能会再次对他挑剔。

  query：(in Chinese) 王莽在谁的手下工作？

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。