Yi 34B 200K

🚀 易（Yi）大語言模型

易（Yi）系列模型是由01.AI從頭開始訓練的下一代開源大語言模型。它以雙語語言模型為目標，在3T多語言語料庫上進行訓練，成為全球最強大的大語言模型之一，在語言理解、常識推理、閱讀理解等方面表現出色。

🚀 快速開始

💡 提示：如果您想開始使用易（Yi）模型並探索不同的推理方法，請查看易（Yi）使用指南。

選擇您的使用方式

選擇以下方式之一開啟您的易（Yi）之旅！

🎯 本地部署易（Yi）模型

如果您想在本地部署易（Yi）模型：

• 🙋‍♀️ 並且您有足夠的資源（例如，NVIDIA A800 80GB），您可以選擇以下方法：
  • pip安裝：可參考相應的pip安裝步驟。
  • docker部署：按照docker部署的流程操作。
  • conda - lock：使用conda - lock進行環境管理和部署。
  • llama.cpp：藉助llama.cpp工具實現本地運行。
  • Web演示：通過Web演示體驗模型功能。

🎯 使用在線平臺體驗

您也可以通過以下在線平臺體驗易（Yi）模型：

• Hugging Face
• Replicate

✨ 主要特性

• 🤖 易（Yi）系列模型是由01.AI從頭開始訓練的下一代開源大語言模型。
• 🙌 作為雙語語言模型，在3T多語言語料庫上訓練，成為全球強大的大語言模型之一，在語言理解、常識推理、閱讀理解等方面表現出色。例如：
  • 易（Yi） - 34B - Chat模型在AlpacaEval排行榜上位居第二（僅次於GPT - 4 Turbo），超越了其他大語言模型（如GPT - 4、Mixtral、Claude）（基於2024年1月的可用數據）。
  • 易（Yi） - 34B模型在包括Hugging Face Open LLM Leaderboard（預訓練）和C - Eval等各種基準測試中，在英語和中文方面均排名所有現有開源模型之首（如Falcon - 180B、Llama - 70B、Claude）（基於2023年11月的可用數據）。
  • 🙏 （感謝Llama）感謝Transformer和Llama開源社區，它們減少了從頭構建的工作量，並使AI生態系統中能夠使用相同的工具。

📦 安裝指南

文檔中未提及具體的安裝命令，暫不提供安裝指南。

💻 使用示例

基礎對話示例

• 易（Yi） - 34B - Chat
  • 輸入："hi"
  • 輸出：" Hello! How can I assist you today?"
• 易（Yi） - 34B
  • 輸入："There's a place where time stands still. A place of breath taking wonder, but also"
  • 輸出：" an eerie sense that something is just not right…\nBetween the two worlds lies The Forgotten Kingdom - home to creatures long since thought extinct and ancient magic so strong it defies belief! Only here can you find what has been lost for centuries: An Elixir Of Life which will restore youth and vitality if only those who seek its power are brave enough to face up against all manner of dangers lurking in this mysterious land! But beware; some say there may even exist powerful entities beyond our comprehension whose intentions towards humanity remain unclear at best ---- they might want nothing more than destruction itself rather then anything else from their quest after immortality (and maybe someone should tell them about modern medicine)? In any event though – one thing remains true regardless : whether or not success comes easy depends entirely upon how much effort we put into conquering whatever challenges lie ahead along with having faith deep down inside ourselves too ;) So let’s get started now shall We?"

📚 詳細文檔

模型介紹

易（Yi）模型有多種規模，適用於不同的用例。您還可以對易（Yi）模型進行微調，以滿足您的特定需求。如果您要部署易（Yi）模型，請確保滿足軟硬件要求。

對話模型

<sub><sup>- 4位系列模型通過AWQ進行量化。
- 8位系列模型通過GPTQ進行量化
- 所有量化模型的使用門檻較低，因為它們可以部署在消費級GPU（如3090、4090）上。</sup></sub>

基礎模型

<sub><sup>- 200k大約相當於400,000箇中文字符。
- 如果您想使用易（Yi） - 34B - 200K的先前版本（2023年11月5日發佈），運行git checkout 069cd341d60f4ce4b07ec394e82b79e94f656cf下載權重。</sup></sub>

模型信息

• 基礎模型和對話模型通用信息 | 模型 | 介紹 | 默認上下文窗口 | 預訓練令牌數 | 訓練數據截止日期 | | ---- | ---- | ---- | ---- | ---- | | 6B系列模型 | 適用於個人和學術用途。 | 4K | 3T | 截至2023年6月 | | 9B系列模型 | 在易（Yi）系列模型中，最擅長編碼和數學。 | 4K | 易（Yi） - 9B在易（Yi） - 6B的基礎上繼續訓練，使用0.8T令牌。 | 截至2023年6月 | | 34B系列模型 | 適用於個人、學術和商業（特別是中小企業）用途。它是一種經濟高效的解決方案，價格實惠且具備湧現能力。 | 4K | 3T | 截至2023年6月 |

• 對話模型

新聞動態

微調

文檔中未提及具體的微調步驟和方法，暫不提供詳細內容。

量化

文檔中未提及具體的量化步驟和方法，暫不提供詳細內容。

部署

文檔中未提及具體的部署步驟和軟硬件要求，暫不提供詳細內容。

常見問題解答（FAQ）

文檔中未提及常見問題及解答，暫不提供詳細內容。

學習中心

您可以在易（Yi）學習中心進行學習和提升。

🔧 技術細節

文檔中未提及具體的技術實現細節，暫不提供詳細內容。

📄 許可證

本項目採用Apache - 2.0許可證。