Yi 6B Chat

🚀 通义大模型（Yi）

通义大模型（Yi）是由 01.AI 从头开始训练的下一代开源大语言模型，可用于多种自然语言处理任务，在语言理解、常识推理和阅读理解等方面表现出色，为个人、学术和商业应用提供了强大支持。

🚀 快速开始

💡 提示：如果你想开始使用通义模型并探索不同的推理方法，可以查看 通义使用指南。

选择使用方式

选择以下其中一种方式开启你的通义之旅！

🎯 本地部署通义模型

如果你想在本地部署通义模型：

• 🙋‍♀️ 若你有 充足 的资源（例如 NVIDIA A800 80GB），可以选择以下方法之一：
  • pip 安装
  • Docker 安装
  • conda-lock 安装
• 🙋‍♀️ 若你资源 有限（例如 MacBook Pro），可以使用 llama.cpp。

🎯 非本地部署通义模型

如果你不想在本地部署通义模型，可以通过以下任意选项探索通义的能力。

🙋‍♀️ 使用 API 运行通义模型

如果你想探索通义的更多功能，可以采用以下方法之一：

• 通义 API（通义官方）
  • 部分申请者已获得 提前访问权限。请关注下一轮访问机会！
• 通义 API（Replicate）

🙋‍♀️ 在 playground 中运行通义模型

如果你想通过更多可定制选项（例如系统提示、温度、重复惩罚等）与通义聊天，可以尝试以下选项之一：

• 通义 34B 聊天 playground（通义官方）
  • 通过白名单访问。欢迎申请（填写 英文 或 中文 表格）。
• 通义 34B 聊天 playground（Replicate）

pip 安装

具体 pip 安装命令暂未在原文档体现，若有相关命令可按此步骤进行安装。

docker 安装

具体 docker 安装命令暂未在原文档体现，若有相关命令可按此步骤进行安装。

llama.cpp 安装

具体 llama.cpp 安装命令暂未在原文档体现，若有相关命令可按此步骤进行安装。

conda-lock 安装

具体 conda-lock 安装命令暂未在原文档体现，若有相关命令可按此步骤进行安装。

网页演示

若有网页演示的具体操作步骤或相关信息，可在此处详细说明。

✨ 主要特性

• 🤖 通义系列模型是由 01.AI 从头开始训练的下一代开源大语言模型。
• 🙌 作为双语语言模型，在 3T 多语言语料上进行训练，成为全球最强大的大语言模型之一，在语言理解、常识推理、阅读理解等方面表现出色。例如：
  • 通义 34B 聊天模型在 AlpacaEval 排行榜上 排名第二（仅次于 GPT - 4 Turbo），超越了其他大语言模型（如 GPT - 4、Mixtral、Claude）（截至 2024 年 1 月的数据）。
  • 通义 34B 模型在多个基准测试中，包括 Hugging Face 开源大语言模型排行榜（预训练）和 C - Eval，在 英语和中文方面 均 排名第一，超越了所有现有开源模型（如 Falcon - 180B、Llama - 70B、Claude）（截至 2023 年 11 月的数据）。
  • 🙏（感谢 Llama）得益于 Transformer 和 Llama 开源社区，它们减少了从头开始构建的工作量，并使我们能够在人工智能生态系统中使用相同的工具。

📦 安装指南

原文档未明确给出具体安装命令，若有相关安装命令可按以下方式展示：

pip 安装

# 具体 pip 安装命令
pip install ...

docker 安装

# 具体 docker 安装命令
docker run ...

llama.cpp 安装

# 具体 llama.cpp 安装命令
...

conda-lock 安装

# 具体 conda-lock 安装命令
conda-lock install ...

📚 详细文档

模型

通义模型有多种尺寸，适用于不同的用例。你还可以对通义模型进行微调以满足特定需求。

如果你想部署通义模型，请确保满足 软件和硬件要求。

聊天模型

<sub><sup>- 4 位系列模型采用 AWQ 量化。
- 8 位系列模型采用 GPTQ 量化
- 所有量化模型使用门槛较低，因为它们可以部署在消费级 GPU 上（如 3090、4090）。</sup></sub>

基础模型

<sub><sup>- 200k 大约相当于 400,000 个中文字符。
- 如果你想使用 2023 年 11 月 5 日发布的通义 34B - 200K 旧版本，请运行 git checkout 069cd341d60f4ce4b07ec394e82b79e94f656cf 下载权重。</sup></sub>

模型信息

• 聊天和基础模型 | 模型 | 介绍 | 默认上下文窗口 | 预训练令牌 | 训练数据日期 | |------|------|------|------|------| | 6B 系列模型 | 适用于个人和学术用途。 | 4K | 3T | 截至 2023 年 6 月 | | 9B 系列模型 | 在通义系列模型中，最擅长编码和数学。 | 4K | 通义 9B 在通义 6B 的基础上继续训练，使用 0.8T 令牌。 | 截至 2023 年 6 月 | | 34B 系列模型 | 适用于个人、学术和商业（特别是中小企业）用途。这是一种经济高效的解决方案，价格实惠且具备涌现能力。 | 4K | 3T | 截至 2023 年 6 月 |

• 聊天模型

新闻

🔧 技术细节

原文档未提供足够详细的技术实现细节（超过 50 字），若有相关内容可在此处详细说明。

📄 许可证

本项目采用 Apache - 2.0 许可证。