Yi 34B

🚀 零一万物大模型 Yi

零一万物大模型 Yi 是由 01.AI 从头开始训练的下一代开源大语言模型。它以双语语言模型为目标，在 3T 多语言语料上进行训练，在语言理解、常识推理、阅读理解等方面表现出色，是全球最强大的大语言模型之一。

🚀 快速开始

💡 提示：如果您想开始使用 Yi 模型并探索不同的推理方法，请查看 Yi 手册。

选择路径

选择以下路径之一开启您的 Yi 之旅！

🎯 本地部署 Yi

如果您想在本地部署 Yi 模型，

• 🙋‍♀️ 并且您有充足的资源（例如，NVIDIA A800 80GB），您可以选择以下方法之一：
  • pip 安装
  • Docker 安装
  • conda-lock 安装
• 🙋‍♀️ 并且您的资源有限（例如，MacBook Pro），您可以使用 llama.cpp 安装。

🎯 不进行本地部署

如果您不想在本地部署 Yi 模型，您可以通过以下任何选项探索 Yi 的功能。

• 🙋‍♀️ 使用 API 运行 Yi 如果您想探索 Yi 的更多功能，可以采用以下方法之一：

  • Yi API（Yi 官方）：部分申请者已获得早期访问权限，请关注下一轮访问！
  • Yi API（Replicate）

• 🙋‍♀️ 在 playground 中运行 Yi 如果您想通过更多可定制选项（例如系统提示、温度、重复惩罚等）与 Yi 聊天，可以尝试以下选项之一：

  • Yi-34B-Chat-Playground（Yi 官方）：通过白名单访问，欢迎申请（填写英文或中文表格）。

💻 使用示例

基础用法

# 以下是使用 pip 进行推理的示例代码
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = '<your-model-path>'

tokenizer = AutoTokenizer.from_pretrained(model_path, use_fast=False)

# 从 transformers 4.35.0 版本开始，可以使用 AutoModelForCausalLM 加载 GPT-Q/AWQ 模型
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    device_map="auto",
    torch_dtype='auto'
).eval()

# 提示内容："hi"
messages = [
    {"role": "user", "content": "hi"}
]

input_ids = tokenizer.apply_chat_template(conversation=messages, tokenize=True, add_generation_prompt=True, return_tensors='pt')
output_ids = model.generate(input_ids.to('cuda'))
response = tokenizer.decode(output_ids[0][input_ids.shape[1]:], skip_special_tokens=True)

# 模型响应："Hello! How can I assist you today?"
print(response)

高级用法

# 以下是使用 Docker 进行推理的示例命令
docker run -it --gpus all \
-v <your-model-path>:/models
ghcr.io/01-ai/yi:latest

✨ 主要特性

• 强大性能：Yi-34B-Chat 模型在 AlpacaEval 排行榜上排名第二（仅次于 GPT-4 Turbo），超越了其他大语言模型（如 GPT-4、Mixtral、Claude）。Yi-34B 模型在多个基准测试中，包括 Hugging Face Open LLM 排行榜（预训练）和 C-Eval，在英语和中文方面均排名第一，超越了所有现有开源模型（如 Falcon-180B、Llama-70B、Claude）。
• 架构优势：Yi 系列模型采用与 Llama 相同的模型架构，但并非 Llama 的衍生模型。它独立创建了自己的高质量训练数据集、高效训练管道和强大训练基础设施，性能优异。
• 全面生态：拥有全面的生态系统，提供一系列工具、服务和模型，包括上游可利用 Llama 生态系统的现有资源，下游有服务、量化、微调、API 等多种应用。

📦 安装指南

pip 安装

git clone https://github.com/01-ai/Yi.git
cd yi
pip install -r requirements.txt

Docker 安装

docker run -it --gpus all \
-v <your-model-path>:/models
ghcr.io/01-ai/yi:latest

conda-lock 安装

micromamba install -y -n yi -f conda-lock.yml

llama.cpp 安装

git clone git@github.com:ggerganov/llama.cpp.git
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/XeIaso/yi-chat-6B-GGUF
git-lfs pull --include yi-chat-6b.Q2_K.gguf

📚 详细文档

模型信息

常见问题解答

🔧 技术细节

模型架构

Yi 系列模型采用与 Llama 相同的模型架构，但并非 Llama 的衍生模型。它基于 Transformer 结构，利用了 Llama 架构的稳定性、收敛性和兼容性等优点，但通过独立创建的高质量训练数据集、高效训练管道和强大训练基础设施，实现了出色的性能。

训练过程

在 3T 多语言语料上进行训练，其中 Yi-9B 基于 Yi-6B 继续训练，使用 0.8T 令牌。训练过程中使用数据合规检查算法，以确保训练模型的合规性，但由于数据复杂和语言模型使用场景的多样性，不能保证模型在所有场景下都能生成正确、合理的输出。

量化方法

支持 GPT-Q 和 AWQ 两种量化方法：

• GPT-Q：使用 AutoGPTQ 和 exllama 进行量化，可节省内存并提供潜在的加速，同时保留模型的准确性。

python quantization/gptq/quant_autogptq.py \
  --model /base_model \
  --output_dir /quantized_model \
  --trust_remote_code

• AWQ：使用 AutoAWQ 进行量化，是一种高效准确的低比特权重量化方法（INT3/4）。

python quantization/awq/quant_autoawq.py \
  --model /base_model \
  --output_dir /quantized_model \
  --trust_remote_code

📄 许可证

Yi 系列模型的代码和权重根据 Apache 2.0 许可证 分发，这意味着 Yi 系列模型可免费用于个人使用、学术目的和商业用途。如果您基于此模型创建衍生作品，请在衍生作品中包含以下归属声明：

This work is a derivative of [The Yi Series Model You Base On] by 01.AI, used under the Apache 2.0 License.