Mistral Tv Neural Marconroni

🚀 聊天向量模型

本項目聚焦於為大語言模型賦予新的語言聊天能力，通過創新方法提升模型在多語言場景下與人類偏好的對齊效果，在多個語言的實驗中展現出顯著優勢。

🚀 快速開始

研究背景

隨著對話式人工智能（如ChatGPT）的發展，本論文著重探索為非英語語言開發大語言模型（LLMs），尤其強調與人類偏好的對齊。

核心方法

我們引入了一種計算高效的方法，利用“聊天向量”來整合LLMs中現有的知識和行為，將傳統的訓練範式從持續預訓練、監督微調（SFT）、基於人類反饋的強化學習（RLHF）重構為持續預訓練 + 聊天。

實驗驗證

我們的實證研究主要聚焦於繁體中文，以LLaMA2為基礎模型，通過從LLaMA2 - chat的權重中減去預訓練的LLaMA2權重來獲取聊天向量。從毒性、指令遵循能力和多輪對話三個不同方面進行評估，證明了聊天向量在“聊天”方面的卓越效果。為了驗證我們方法的適應性，我們將實驗擴展到了以韓語和簡體中文預訓練的模型，展示了我們方法的通用性。

✨ 主要特性

模型融合

• 基礎模型：mistral 7b
• 聊天向量：
  • neural - chat
  • marconroni

📚 詳細文檔

論文參考

聊天向量：為大語言模型賦予新語言聊天能力的簡單方法

評估結果

詳細的評估結果可在開放大語言模型排行榜查看，具體結果見此處。

📄 許可證

本項目採用MIT許可證。