Yi 34B 200K

🚀 易（Yi）大语言模型

易（Yi）系列模型是由01.AI从头开始训练的下一代开源大语言模型。它以双语语言模型为目标，在3T多语言语料库上进行训练，成为全球最强大的大语言模型之一，在语言理解、常识推理、阅读理解等方面表现出色。

🚀 快速开始

💡 提示：如果您想开始使用易（Yi）模型并探索不同的推理方法，请查看易（Yi）使用指南。

选择您的使用方式

选择以下方式之一开启您的易（Yi）之旅！

🎯 本地部署易（Yi）模型

如果您想在本地部署易（Yi）模型：

• 🙋‍♀️ 并且您有足够的资源（例如，NVIDIA A800 80GB），您可以选择以下方法：
  • pip安装：可参考相应的pip安装步骤。
  • docker部署：按照docker部署的流程操作。
  • conda - lock：使用conda - lock进行环境管理和部署。
  • llama.cpp：借助llama.cpp工具实现本地运行。
  • Web演示：通过Web演示体验模型功能。

🎯 使用在线平台体验

您也可以通过以下在线平台体验易（Yi）模型：

• Hugging Face
• Replicate

✨ 主要特性

• 🤖 易（Yi）系列模型是由01.AI从头开始训练的下一代开源大语言模型。
• 🙌 作为双语语言模型，在3T多语言语料库上训练，成为全球强大的大语言模型之一，在语言理解、常识推理、阅读理解等方面表现出色。例如：
  • 易（Yi） - 34B - Chat模型在AlpacaEval排行榜上位居第二（仅次于GPT - 4 Turbo），超越了其他大语言模型（如GPT - 4、Mixtral、Claude）（基于2024年1月的可用数据）。
  • 易（Yi） - 34B模型在包括Hugging Face Open LLM Leaderboard（预训练）和C - Eval等各种基准测试中，在英语和中文方面均排名所有现有开源模型之首（如Falcon - 180B、Llama - 70B、Claude）（基于2023年11月的可用数据）。
  • 🙏 （感谢Llama）感谢Transformer和Llama开源社区，它们减少了从头构建的工作量，并使AI生态系统中能够使用相同的工具。

📦 安装指南

文档中未提及具体的安装命令，暂不提供安装指南。

💻 使用示例

基础对话示例

• 易（Yi） - 34B - Chat
  • 输入："hi"
  • 输出：" Hello! How can I assist you today?"
• 易（Yi） - 34B
  • 输入："There's a place where time stands still. A place of breath taking wonder, but also"
  • 输出：" an eerie sense that something is just not right…\nBetween the two worlds lies The Forgotten Kingdom - home to creatures long since thought extinct and ancient magic so strong it defies belief! Only here can you find what has been lost for centuries: An Elixir Of Life which will restore youth and vitality if only those who seek its power are brave enough to face up against all manner of dangers lurking in this mysterious land! But beware; some say there may even exist powerful entities beyond our comprehension whose intentions towards humanity remain unclear at best ---- they might want nothing more than destruction itself rather then anything else from their quest after immortality (and maybe someone should tell them about modern medicine)? In any event though – one thing remains true regardless : whether or not success comes easy depends entirely upon how much effort we put into conquering whatever challenges lie ahead along with having faith deep down inside ourselves too ;) So let’s get started now shall We?"

📚 详细文档

模型介绍

易（Yi）模型有多种规模，适用于不同的用例。您还可以对易（Yi）模型进行微调，以满足您的特定需求。如果您要部署易（Yi）模型，请确保满足软硬件要求。

对话模型

<sub><sup>- 4位系列模型通过AWQ进行量化。
- 8位系列模型通过GPTQ进行量化
- 所有量化模型的使用门槛较低，因为它们可以部署在消费级GPU（如3090、4090）上。</sup></sub>

基础模型

<sub><sup>- 200k大约相当于400,000个中文字符。
- 如果您想使用易（Yi） - 34B - 200K的先前版本（2023年11月5日发布），运行git checkout 069cd341d60f4ce4b07ec394e82b79e94f656cf下载权重。</sup></sub>

模型信息

• 基础模型和对话模型通用信息 | 模型 | 介绍 | 默认上下文窗口 | 预训练令牌数 | 训练数据截止日期 | | ---- | ---- | ---- | ---- | ---- | | 6B系列模型 | 适用于个人和学术用途。 | 4K | 3T | 截至2023年6月 | | 9B系列模型 | 在易（Yi）系列模型中，最擅长编码和数学。 | 4K | 易（Yi） - 9B在易（Yi） - 6B的基础上继续训练，使用0.8T令牌。 | 截至2023年6月 | | 34B系列模型 | 适用于个人、学术和商业（特别是中小企业）用途。它是一种经济高效的解决方案，价格实惠且具备涌现能力。 | 4K | 3T | 截至2023年6月 |

• 对话模型

新闻动态

微调

文档中未提及具体的微调步骤和方法，暂不提供详细内容。

量化

文档中未提及具体的量化步骤和方法，暂不提供详细内容。

部署

文档中未提及具体的部署步骤和软硬件要求，暂不提供详细内容。

常见问题解答（FAQ）

文档中未提及常见问题及解答，暂不提供详细内容。

学习中心

您可以在易（Yi）学习中心进行学习和提升。

🔧 技术细节

文档中未提及具体的技术实现细节，暂不提供详细内容。

📄 许可证

本项目采用Apache - 2.0许可证。