Llama 7b Hf Transformers 4.29

🚀 llama-7b-transformers-4.29

本項目使用最新的 transformers 版本和 LlamaTokenizerFast 實現，對原始權重進行了轉換。

📄 許可證

使用的是其他非商業定製許可證。

📚 詳細文檔

模型詳情

• 模型開發組織：Meta AI的FAIR團隊。
• 模型日期：LLaMA於2022年12月至2023年2月期間進行訓練。
• 模型版本：這是該模型的第1版。
• 模型類型：LLaMA是一種基於Transformer架構的自迴歸語言模型，有7B、13B、33B和65B參數等不同規模。
• 更多信息的論文或資源：更多信息可在論文 “LLaMA, Open and Efficient Foundation Language Models” 中找到，鏈接為 https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/。
• 引用詳情：https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/
• 許可證：非商業定製許可證
• 關於模型問題或建議的反饋途徑：關於LLaMA的問題和建議可通過項目的 GitHub倉庫 提交issue。

預期用途

• 主要預期用途：LLaMA主要用於大語言模型的研究，包括探索問答、自然語言理解或閱讀理解等潛在應用；瞭解當前語言模型的能力和侷限性，並開發改進技術；評估和緩解偏差、風險、有毒有害內容生成以及幻覺等問題。
• 主要預期用戶：該模型的主要預期用戶是自然語言處理、機器學習和人工智能領域的研究人員。
• 超出適用範圍的用例：LLaMA是一個基礎模型，因此在未進行進一步風險評估和緩解的情況下，不應將其用於下游應用。特別是，該模型未經過人類反饋訓練，可能會生成有毒或冒犯性內容、錯誤信息或通常無用的答案。

影響因素

• 相關因素：影響模型性能的一個重要因素是使用的語言。儘管訓練數據包含20種語言，但大部分數據集是英文文本，因此預計該模型在英文上的表現會優於其他語言。相關地，先前研究表明不同方言的性能可能會有所不同，預計該模型也會如此。
• 評估因素：由於該模型是在網絡數據上訓練的，預計它會反映出這些來源的偏差。因此，在RAI數據集上進行了評估，以衡量模型在性別、宗教、種族、性取向、年齡、國籍、殘疾、外貌和社會經濟地位等方面的偏差。還根據用於提示模型的上下文的毒性，測量了模型生成內容的毒性。

評估指標

• 模型性能指標：使用以下指標評估模型：常識推理、閱讀理解、自然語言理解（MMLU）、BIG-bench hard、WinoGender和CrowS-Pairs的準確率；問答的精確匹配率；RealToxicityPrompts上來自Perspective API的毒性得分。
• 決策閾值：不適用。
• 不確定性和可變性處理方法：由於訓練大語言模型的計算要求很高，每種規模只訓練了一個模型，因此無法評估預訓練的可變性。

評估數據集

模型在以下基準測試中進行了評估：BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC、OpenBookQA、NaturalQuestions、TriviaQA、RACE、MMLU、BIG-bench hard、GSM8k、RealToxicityPrompts、WinoGender、CrowS-Pairs。

訓練數據集

模型使用以下數據源進行訓練：CCNet [67%]、C4 [15%]、GitHub [4.5%]、Wikipedia [4.5%]、Books [4.5%]、ArXiv [2.5%]、Stack Exchange[2%]。Wikipedia和Books領域的數據包含以下語言：bg、ca、cs、da、de、en、es、fr、hr、hu、it、nl、pl、pt、ro、ru、sl、sr、sv、uk。有關訓練集和相應預處理的更多詳細信息，請參閱論文。

定量分析

模型架構超參數

表1 - LLaMA模型超參數總結

推理任務性能

表2 - LLaMA模型在推理任務上的性能總結

模型輸出偏差

表3 - 模型輸出偏差總結

倫理考量

• 數據：用於訓練模型的數據來自各種來源，主要是網絡。因此，這些數據包含冒犯性、有害和有偏差的內容。預計該模型會表現出訓練數據中的此類偏差。
• 人類生活：該模型並非用於為與人類生活核心問題相關的決策提供信息，不應以這種方式使用。
• 緩解措施：基於數據與維基百科文本和參考資料的接近程度，對網絡數據進行了過濾。為此，使用了Kneser-Ney語言模型和fastText線性分類器。
• 風險和危害：大語言模型的風險和危害包括生成有害、冒犯性或有偏差的內容。這些模型通常容易生成錯誤信息，有時被稱為幻覺。預計該模型也不例外。
• 使用場景：LLaMA是一個基礎模型，因此在未進行進一步調查和風險緩解的情況下，不應將其用於下游應用。這些風險和潛在的有問題的用例包括但不限於：生成錯誤信息和生成有害、有偏差或冒犯性內容。