Decapoda Research Llama 7b Hf

🚀 LLaMA-7B模型

LLaMA-7B已轉換為可與Transformers/HuggingFace配合使用的版本。此模型遵循特殊許可協議，詳情請參閱LICENSE文件。

🚀 快速開始

本項目將LLaMA-7B轉換為可與Transformers/HuggingFace配合使用的版本。由於採用特殊許可協議，請在使用前仔細閱讀LICENSE文件。

📚 詳細文檔

模型詳情

• 模型開發組織：Meta AI的FAIR團隊。
• 模型日期：LLaMA於2022年12月至2023年2月期間進行訓練。
• 模型版本：這是模型的第1版。
• 模型類型：LLaMA是基於Transformer架構的自迴歸語言模型。該模型有不同的規模，包括7B、13B、33B和65B參數。
• 更多信息的論文或資源：更多信息可在論文“LLaMA, Open and Efficient Foundation Language Models”中找到，論文鏈接為：https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/。
• 引用詳情：https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/
• 許可證：非商業定製許可證。
• 關於模型問題或建議的反饋途徑：關於LLaMA的問題和建議可通過項目的GitHub倉庫提交issue進行反饋。

預期用途

• 主要預期用途：LLaMA的主要用途是用於大語言模型的研究，包括探索問答、自然語言理解或閱讀理解等潛在應用；瞭解當前語言模型的能力和侷限性，並開發改進這些能力的技術；評估和減輕偏差、風險、有毒和有害內容生成以及幻覺等問題。
• 主要預期用戶：該模型的主要預期用戶是自然語言處理、機器學習和人工智能領域的研究人員。
• 超出範圍的用例：LLaMA是一個基礎模型，因此在沒有進一步的風險評估和緩解措施的情況下，不應將其用於下游應用。特別是，我們的模型沒有經過人類反饋訓練，因此可能會生成有毒或冒犯性內容、錯誤信息或通常無用的答案。

影響因素

• 相關因素：影響模型性能的一個最相關因素是所使用的語言。雖然我們在訓練數據中包含了20種語言，但我們的大部分數據集是由英文文本組成的，因此我們預計模型在英文上的表現會優於其他語言。相關地，先前的研究表明，模型在不同方言上的表現可能會有所不同，我們預計我們的模型也會出現這種情況。
• 評估因素：由於我們的模型是在來自網絡的數據上進行訓練的，我們預計它會反映出該來源的偏差。因此，我們在RAI數據集上進行了評估，以衡量模型在性別、宗教、種族、性取向、年齡、國籍、殘疾、外貌和社會經濟地位等方面表現出的偏差。我們還根據用於提示模型的上下文的毒性來衡量模型生成內容的毒性。

評估指標

• 模型性能指標：我們使用以下指標來評估模型：
  • 常識推理、閱讀理解、自然語言理解（MMLU）、BIG-bench hard、WinoGender和CrowS-Pairs的準確率。
  • 問答的精確匹配率。
  • RealToxicityPrompts上來自Perspective API的毒性得分。
• 決策閾值：不適用。
• 不確定性和變異性處理方法：由於訓練大語言模型的計算要求很高，我們每種規模只訓練了一個模型，因此無法評估預訓練的變異性。

評估數據集

模型在以下基準測試中進行了評估：BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC、OpenBookQA、NaturalQuestions、TriviaQA、RACE、MMLU、BIG-bench hard、GSM8k、RealToxicityPrompts、WinoGender、CrowS-Pairs。

訓練數據集

模型使用以下數據源進行訓練：CCNet [67%]、C4 [15%]、GitHub [4.5%]、Wikipedia [4.5%]、Books [4.5%]、ArXiv [2.5%]、Stack Exchange[2%]。Wikipedia和Books領域的數據包含以下語言：bg、ca、cs、da、de、en、es、fr、hr、hu、it、nl、pl、pt、ro、ru、sl、sr、sv、uk。有關訓練集和相應預處理的更多詳細信息，請參閱論文。

定量分析

模型架構超參數

表1 - LLaMA模型超參數總結

推理任務性能

表2 - LLaMA模型在推理任務上的性能總結

偏差評估

表3 - 我們模型輸出的偏差總結

倫理考量

• 數據：用於訓練模型的數據來自各種來源，主要是網絡。因此，這些數據包含冒犯性、有害和有偏差的內容。我們預計模型會表現出訓練數據中的這些偏差。
• 人類生活：該模型並非用於為與人類生活核心相關的決策提供信息，不應以這種方式使用。
• 緩解措施：我們根據數據與維基百科文本和參考資料的接近程度對網絡數據進行了過濾。為此，我們使用了Kneser - Ney語言模型和fastText線性分類器。
• 風險和危害：大語言模型的風險和危害包括生成有害、冒犯性或有偏差的內容。這些模型通常容易生成錯誤信息，有時被稱為幻覺。我們預計我們的模型在這方面也不例外。
• 用例：LLaMA是一個基礎模型，因此在沒有進一步調查和緩解風險的情況下，不應將其用於下游應用。這些風險和潛在的不良用例包括但不限於：生成錯誤信息以及生成有害、有偏差或冒犯性的內容。

📄 許可證

本項目遵循非商業定製許可證，詳情請參閱LICENSE文件。