Yi 34B

🚀 零一萬物大模型 Yi

零一萬物大模型 Yi 是由 01.AI 從頭開始訓練的下一代開源大語言模型。它以雙語語言模型為目標，在 3T 多語言語料上進行訓練，在語言理解、常識推理、閱讀理解等方面表現出色，是全球最強大的大語言模型之一。

🚀 快速開始

💡 提示：如果您想開始使用 Yi 模型並探索不同的推理方法，請查看 Yi 手冊。

選擇路徑

選擇以下路徑之一開啟您的 Yi 之旅！

🎯 本地部署 Yi

如果您想在本地部署 Yi 模型，

• 🙋‍♀️ 並且您有充足的資源（例如，NVIDIA A800 80GB），您可以選擇以下方法之一：
  • pip 安裝
  • Docker 安裝
  • conda-lock 安裝
• 🙋‍♀️ 並且您的資源有限（例如，MacBook Pro），您可以使用 llama.cpp 安裝。

🎯 不進行本地部署

如果您不想在本地部署 Yi 模型，您可以通過以下任何選項探索 Yi 的功能。

• 🙋‍♀️ 使用 API 運行 Yi 如果您想探索 Yi 的更多功能，可以採用以下方法之一：

  • Yi API（Yi 官方）：部分申請者已獲得早期訪問權限，請關注下一輪訪問！
  • Yi API（Replicate）

• 🙋‍♀️ 在 playground 中運行 Yi 如果您想通過更多可定製選項（例如系統提示、溫度、重複懲罰等）與 Yi 聊天，可以嘗試以下選項之一：

  • Yi-34B-Chat-Playground（Yi 官方）：通過白名單訪問，歡迎申請（填寫英文或中文表格）。

💻 使用示例

基礎用法

# 以下是使用 pip 進行推理的示例代碼
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = '<your-model-path>'

tokenizer = AutoTokenizer.from_pretrained(model_path, use_fast=False)

# 從 transformers 4.35.0 版本開始，可以使用 AutoModelForCausalLM 加載 GPT-Q/AWQ 模型
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    device_map="auto",
    torch_dtype='auto'
).eval()

# 提示內容："hi"
messages = [
    {"role": "user", "content": "hi"}
]

input_ids = tokenizer.apply_chat_template(conversation=messages, tokenize=True, add_generation_prompt=True, return_tensors='pt')
output_ids = model.generate(input_ids.to('cuda'))
response = tokenizer.decode(output_ids[0][input_ids.shape[1]:], skip_special_tokens=True)

# 模型響應："Hello! How can I assist you today?"
print(response)

高級用法

# 以下是使用 Docker 進行推理的示例命令
docker run -it --gpus all \
-v <your-model-path>:/models
ghcr.io/01-ai/yi:latest

✨ 主要特性

• 強大性能：Yi-34B-Chat 模型在 AlpacaEval 排行榜上排名第二（僅次於 GPT-4 Turbo），超越了其他大語言模型（如 GPT-4、Mixtral、Claude）。Yi-34B 模型在多個基準測試中，包括 Hugging Face Open LLM 排行榜（預訓練）和 C-Eval，在英語和中文方面均排名第一，超越了所有現有開源模型（如 Falcon-180B、Llama-70B、Claude）。
• 架構優勢：Yi 系列模型採用與 Llama 相同的模型架構，但並非 Llama 的衍生模型。它獨立創建了自己的高質量訓練數據集、高效訓練管道和強大訓練基礎設施，性能優異。
• 全面生態：擁有全面的生態系統，提供一系列工具、服務和模型，包括上游可利用 Llama 生態系統的現有資源，下游有服務、量化、微調、API 等多種應用。

📦 安裝指南

pip 安裝

git clone https://github.com/01-ai/Yi.git
cd yi
pip install -r requirements.txt

Docker 安裝

docker run -it --gpus all \
-v <your-model-path>:/models
ghcr.io/01-ai/yi:latest

conda-lock 安裝

micromamba install -y -n yi -f conda-lock.yml

llama.cpp 安裝

git clone git@github.com:ggerganov/llama.cpp.git
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/XeIaso/yi-chat-6B-GGUF
git-lfs pull --include yi-chat-6b.Q2_K.gguf

📚 詳細文檔

模型信息

常見問題解答

🔧 技術細節

模型架構

Yi 系列模型採用與 Llama 相同的模型架構，但並非 Llama 的衍生模型。它基於 Transformer 結構，利用了 Llama 架構的穩定性、收斂性和兼容性等優點，但通過獨立創建的高質量訓練數據集、高效訓練管道和強大訓練基礎設施，實現了出色的性能。

訓練過程

在 3T 多語言語料上進行訓練，其中 Yi-9B 基於 Yi-6B 繼續訓練，使用 0.8T 令牌。訓練過程中使用數據合規檢查算法，以確保訓練模型的合規性，但由於數據複雜和語言模型使用場景的多樣性，不能保證模型在所有場景下都能生成正確、合理的輸出。

量化方法

支持 GPT-Q 和 AWQ 兩種量化方法：

• GPT-Q：使用 AutoGPTQ 和 exllama 進行量化，可節省內存並提供潛在的加速，同時保留模型的準確性。

python quantization/gptq/quant_autogptq.py \
  --model /base_model \
  --output_dir /quantized_model \
  --trust_remote_code

• AWQ：使用 AutoAWQ 進行量化，是一種高效準確的低比特權重量化方法（INT3/4）。

python quantization/awq/quant_autoawq.py \
  --model /base_model \
  --output_dir /quantized_model \
  --trust_remote_code

📄 許可證

Yi 系列模型的代碼和權重根據 Apache 2.0 許可證 分發，這意味著 Yi 系列模型可免費用於個人使用、學術目的和商業用途。如果您基於此模型創建衍生作品，請在衍生作品中包含以下歸屬聲明：

This work is a derivative of [The Yi Series Model You Base On] by 01.AI, used under the Apache 2.0 License.