Decapoda Research Llama 7B Hf

🚀 LLaMA模型

LLaMA-7B已轉換為可與Transformers/HuggingFace配合使用的版本。此模型受特殊許可證約束，具體詳情請參閱LICENSE文件。

🚀 快速開始

本README文檔將詳細介紹LLaMA模型的相關信息，包括模型細節、預期用途、評估指標等內容。

📚 詳細文檔

模型詳情

• 模型開發組織：Meta AI的FAIR團隊。
• 模型日期：LLaMA於2022年12月至2023年2月期間進行訓練。
• 模型版本：這是模型的第1版。
• 模型類型：LLaMA是基於Transformer架構的自迴歸語言模型。該模型有不同的規模，分別為70億、130億、330億和650億參數。
• 更多信息的論文或資源：更多信息可在論文《LLaMA, Open and Efficient Foundation Language Models》中找到，論文鏈接為https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/。
• 引用詳情：https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/
• 許可證：非商業定製許可證。
• 關於模型問題或建議的反饋途徑：有關LLaMA的問題和建議可通過項目的GitHub倉庫提交issue進行反饋。

預期用途

• 主要預期用途：LLaMA的主要用途是用於大語言模型的研究，包括：探索問答、自然語言理解或閱讀理解等潛在應用；瞭解當前語言模型的能力和侷限性，並開發改進這些能力的技術；評估和減輕偏差、風險、有毒和有害內容生成以及幻覺問題。
• 主要預期用戶：該模型的主要預期用戶是自然語言處理、機器學習和人工智能領域的研究人員。
• 超出適用範圍的用例：LLaMA是一個基礎模型。因此，在未進行進一步風險評估和緩解的情況下，不應將其用於下游應用。特別是，我們的模型沒有經過人類反饋訓練，因此可能會生成有毒或冒犯性內容、不正確的信息或通常無用的答案。

影響因素

• 相關因素：影響模型性能的一個最相關因素是所使用的語言。儘管我們在訓練數據中包含了20種語言，但大部分數據集是英文文本，因此我們預計模型在英語上的表現會優於其他語言。相關地，先前的研究表明，不同方言的性能可能會有所不同，我們預計我們的模型也會出現這種情況。
• 評估因素：由於我們的模型是在網絡數據上進行訓練的，我們預計它會反映出該來源的偏差。因此，我們在RAI數據集上進行了評估，以衡量模型在性別、宗教、種族、性取向、年齡、國籍、殘疾、外貌和社會經濟地位等方面表現出的偏差。我們還根據用於提示模型的上下文的毒性來衡量模型生成內容的毒性。

評估指標

• 模型性能衡量指標：我們使用以下指標來評估模型：
  • 常識推理、閱讀理解、自然語言理解（MMLU）、BIG-bench hard、WinoGender和CrowS-Pairs的準確率；
  • 問答的完全匹配率；
  • RealToxicityPrompts上來自Perspective API的毒性得分。
• 決策閾值：不適用。
• 處理不確定性和可變性的方法：由於訓練大語言模型的計算要求很高，我們每種規模只訓練了一個模型，因此無法評估預訓練的可變性。

評估數據集

該模型在以下基準測試中進行了評估：BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC、OpenBookQA、NaturalQuestions、TriviaQA、RACE、MMLU、BIG-bench hard、GSM8k、RealToxicityPrompts、WinoGender、CrowS-Pairs。

訓練數據集

該模型使用以下數據源進行訓練：CCNet [67%]、C4 [15%]、GitHub [4.5%]、維基百科 [4.5%]、書籍 [4.5%]、arXiv [2.5%]、Stack Exchange [2%]。維基百科和書籍領域的數據包含以下語言：保加利亞語（bg）、加泰羅尼亞語（ca）、捷克語（cs）、丹麥語（da）、德語（de）、英語（en）、西班牙語（es）、法語（fr）、克羅地亞語（hr）、匈牙利語（hu）、意大利語（it）、荷蘭語（nl）、波蘭語（pl）、葡萄牙語（pt）、羅馬尼亞語（ro）、俄語（ru）、斯洛文尼亞語（sl）、塞爾維亞語（sr）、瑞典語（sv）、烏克蘭語（uk）。有關訓練集和相應預處理的更多詳細信息，請參閱論文。

定量分析

模型架構超參數

表1 - LLaMA模型超參數總結

八項標準常識推理基準測試結果

表2 - LLaMA模型在推理任務上的性能總結

偏差評估結果

表3 - 我們模型輸出的偏差總結

倫理考量

• 數據：用於訓練模型的數據來自各種來源，主要是網絡。因此，它包含冒犯性、有害和有偏差的內容。我們預計模型會表現出訓練數據中的此類偏差。
• 人類生活：該模型並非用於為與人類生活核心相關的決策提供信息，也不應以這種方式使用。
• 緩解措施：我們根據網絡數據與維基百科文本和參考文獻的接近程度對其進行了過濾。為此，我們使用了Kneser - Ney語言模型和fastText線性分類器。
• 風險和危害：大語言模型的風險和危害包括生成有害、冒犯性或有偏差的內容。這些模型通常容易生成不正確的信息，有時被稱為幻覺。我們預計我們的模型在這方面也不例外。
• 用例：LLaMA是一個基礎模型，因此，在未進一步調查和緩解風險的情況下，不應將其用於下游應用。這些風險和潛在的有問題用例包括但不限於：生成錯誤信息以及生成有害、有偏差或冒犯性內容。

📄 許可證

非商業定製許可證。具體詳情請參閱LICENSE文件。