Yi 6B

🚀 易模型（Yi）

易（Yi）系列模型是由 01.AI 从头开始训练的下一代开源大语言模型。该系列模型以双语语言模型为目标，在 3T 多语言语料上进行训练，成为全球最强大的大语言模型之一，在语言理解、常识推理、阅读理解等方面表现出色。

🚀 快速开始

💡 提示：如果您想开始使用易模型并探索不同的推理方法，请查看 易模型使用指南。

选择使用方式

选择以下其中一种方式开启您的易模型之旅！

🎯 本地部署易模型

如果您想在本地部署易模型：

• 🙋‍♀️ 若您有 充足 的资源（例如，NVIDIA A800 80GB），可以选择以下方法之一：
  • pip 安装
  • Docker 部署
  • conda-lock 安装
• 🙋‍♀️ 若您的资源 有限（例如，MacBook Pro），可以使用 llama.cpp。

🎯 非本地部署易模型

如果您不想在本地部署易模型，可以通过以下任意选项探索易模型的能力。

🙋‍♀️ 使用 API 运行易模型

如果您想探索易模型的更多功能，可以采用以下方法之一：

• 易模型 API（官方）
  • 部分申请者已获得 早期访问权限。请关注下一轮访问机会！
• 易模型 API（Replicate）

🙋‍♀️ 在 playground 中运行易模型

如果您想以更多可定制选项（例如，系统提示、温度、重复惩罚等）与易模型聊天，可以尝试以下选项之一：

• 易 - 34B - 聊天 - 游乐场（官方）
  • 通过白名单访问。欢迎申请（填写 英文 或 中文 表格）。
• 易 - 34B - 聊天 - 游乐场（Replicate）

✨ 主要特性

• 🤖 易系列模型是由 01.AI 从头开始训练的下一代开源大语言模型。
• 🙌 以双语语言模型为目标，在 3T 多语言语料上进行训练，成为全球最强大的大语言模型之一，在语言理解、常识推理、阅读理解等方面表现出色。例如：
  • 易 - 34B - 聊天模型在 AlpacaEval 排行榜上 位居第二（仅次于 GPT - 4 Turbo），超越了其他大语言模型（如 GPT - 4、Mixtral、Claude）（基于截至 2024 年 1 月的数据）。
  • 易 - 34B 模型在包括 Hugging Face 开源大语言模型排行榜（预训练）和 C - Eval 在内的各种基准测试中，在 英语和中文方面 均 在所有现有开源模型中排名第一（如 Falcon - 180B、Llama - 70B、Claude）（基于截至 2023 年 11 月的数据）。
  • 🙏（感谢 Llama）感谢 Transformer 和 Llama 开源社区，它们减少了从头构建的工作量，并使我们能够在人工智能生态系统中使用相同的工具。

📦 安装指南

pip 安装

暂未提及具体 pip 安装命令，可参考 易模型使用指南 进行安装。

Docker 部署

暂未提及具体 Docker 部署命令，可参考 易模型使用指南 进行部署。

conda-lock 安装

暂未提及具体 conda - lock 安装命令，可参考 易模型使用指南 进行安装。

llama.cpp 安装

暂未提及具体 llama.cpp 安装命令，可参考 易模型使用指南 进行安装。

💻 使用示例

基础用法

以下是使用易模型 API 的示例代码：

# 示例代码，假设使用 Replicate 的 API
import replicate

model = replicate.models.get("01-ai/yi-34b-chat")
version = model.versions.get("your_version_number")

input = {
    "prompt": "Hello!",
    "temperature": 0.7,
    "max_length": 200
}

output = version.predict(**input)
print(output)

高级用法

# 高级用法示例，使用系统提示和更多参数
import replicate

model = replicate.models.get("01-ai/yi-34b-chat")
version = model.versions.get("your_version_number")

input = {
    "prompt": "Hello!",
    "system_prompt": "You are a helpful assistant.",
    "temperature": 0.7,
    "max_length": 200,
    "repetition_penalty": 1.2
}

output = version.predict(**input)
print(output)

📚 详细文档

模型介绍

易模型有多种尺寸，适用于不同的用例。您还可以对易模型进行微调以满足您的特定需求。

如果您想部署易模型，请确保满足 软件和硬件要求。

聊天模型

<sub><sup>- 4 - bit 系列模型由 AWQ 量化。
- 8 - bit 系列模型由 GPTQ 量化
- 所有量化模型的使用门槛较低，因为它们可以部署在消费级 GPU 上（例如，3090、4090）。</sup></sub>

基础模型

<sub><sup>- 200k 大约相当于 400,000 个中文字符。
- 如果您想使用易 - 34B - 200K 的先前版本（2023 年 11 月 5 日发布），请运行 git checkout 069cd341d60f4ce4b07ec394e82b79e94f656cf 下载权重。</sup></sub>

模型信息

• 聊天模型和基础模型

• 聊天模型

新闻

微调

暂未提供详细的微调步骤，可参考相关文档进一步探索。

量化

暂未提供详细的量化步骤，可参考相关文档进一步探索。

部署

暂未提供详细的部署要求和步骤，可参考相关文档进一步探索。

常见问题解答（FAQ）

暂未提供常见问题解答内容，可参考相关文档进一步探索。

学习中心

暂未提供学习中心的详细内容，可参考相关文档进一步探索。

🔧 技术细节

暂未提供详细的技术细节，可参考 易模型技术报告 进一步了解。

📄 许可证

本项目采用 Apache - 2.0 许可证。

⚠️ 重要提示

请仔细阅读 易系列模型社区许可协议。

💡 使用建议

在使用易模型时，根据您的具体需求选择合适的模型和使用方式。如果您对模型的性能有较高要求，建议使用 34B 系列模型；如果您的资源有限，可以考虑使用量化模型。同时，注意调整生成配置参数，以获得更满意的结果。