Llama 13b Hf

🚀 llama-13b-hf

該權重文件被分割成大小為650MB的塊，便於快速並行下載

這是 yahma/llama-13b-hf 的650M分割權重版本。

原始模型卡片如下：

🚀 快速開始

LLaMA-13B 於2023年4月8日轉換為可與git head Transformers/HuggingFace配合使用的版本。此版本應能解決EOS令牌問題。

此模型遵循特殊許可證，請查看 LICENSE 文件以獲取詳細信息。

該倉庫包含LLaMA-7b模型的權重。此模型遵循非商業許可證（請查看 LICENSE 文件）。 只有當你通過填寫 此表單 獲得了模型訪問權限，但丟失了權重副本或在將其轉換為Transformers格式時遇到問題，才應使用此倉庫。

📚 詳細文檔

LLaMA模型卡片

模型詳情

預期用途

主要預期用途

LLaMA的主要用途是進行大語言模型的研究，包括：

• 探索潛在應用，如問答、自然語言理解或閱讀理解
• 瞭解當前語言模型的能力和侷限性，並開發改進這些能力的技術
• 評估和減輕偏差、風險、有毒和有害內容生成、幻覺等問題

主要預期用戶

該模型的主要預期用戶是自然語言處理、機器學習和人工智能領域的研究人員。

超出範圍的用例

LLaMA是一個基礎模型。因此，在沒有進一步的風險評估和緩解措施的情況下，不應將其用於下游應用。特別是，我們的模型沒有經過人類反饋訓練，因此可能會生成有毒或冒犯性內容、不正確的信息或通常無用的答案。

影響因素

相關因素

模型性能可能會因使用的語言而有所不同，這是最相關的因素之一。儘管我們在訓練數據中包含了20種語言，但我們的大部分數據集是由英文文本組成的，因此我們預計模型在英文上的表現會優於其他語言。相關地，先前的研究表明，不同方言的性能可能會有所不同，我們預計我們的模型也會如此。

評估因素

由於我們的模型是在來自網絡的數據上進行訓練的，我們預計它會反映出該來源的偏差。因此，我們在RAI數據集上進行了評估，以衡量模型在性別、宗教、種族、性取向、年齡、國籍、殘疾、外貌和社會經濟地位方面表現出的偏差。我們還根據用於提示模型的上下文的毒性來衡量模型生成內容的毒性。

評估指標

模型性能指標

我們使用以下指標來評估模型：

• 常識推理、閱讀理解、自然語言理解（MMLU）、BIG-bench hard、WinoGender和CrowS-Pairs的準確率
• 問答的完全匹配率
• RealToxicityPrompts上來自Perspective API的毒性得分

決策閾值

不適用。

處理不確定性和可變性的方法

由於訓練大語言模型的計算要求很高，我們每種規模只訓練了一個模型，因此無法評估預訓練的可變性。

評估數據集

該模型在以下基準測試中進行了評估：BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC、OpenBookQA、NaturalQuestions、TriviaQA、RACE、MMLU、BIG-bench hard、GSM8k、RealToxicityPrompts、WinoGender、CrowS-Pairs。

訓練數據集

該模型使用以下數據源進行訓練：CCNet [67%]、C4 [15%]、GitHub [4.5%]、Wikipedia [4.5%]、Books [4.5%]、ArXiv [2.5%]、Stack Exchange[2%]。Wikipedia和Books領域包括以下語言的數據：bg、ca、cs、da、de、en、es、fr、hr、hu、it、nl、pl、pt、ro、ru、sl、sr、sv、uk。有關訓練集和相應預處理的更多詳細信息，請參閱論文。

定量分析

模型架構的超參數

表1 - LLama模型超參數總結

我們在下表中展示了模型在八個標準常識推理基準測試中的結果。

表2 - LLama模型在推理任務上的性能總結

我們在下表中展示了模型的偏差結果。請注意，數值越低表示偏差越低。

表3 - 我們模型輸出的偏差總結

倫理考量

數據

用於訓練模型的數據是從各種來源收集的，主要來自網絡。因此，它包含冒犯性、有害和有偏差的內容。因此，我們預計模型會表現出訓練數據中的此類偏差。

人類生活

該模型並非旨在為與人類生活核心相關的事務提供決策依據，也不應以這種方式使用。

緩解措施

我們根據數據與維基百科文本和參考資料的接近程度對網絡數據進行了過濾。為此，我們使用了Kneser-Ney語言模型和fastText線性分類器。

風險和危害

大語言模型的風險和危害包括生成有害、冒犯性或有偏差的內容。這些模型通常容易生成不正確的信息，有時被稱為幻覺。我們預計我們的模型在這方面也不例外。

用例

LLaMA是一個基礎模型。因此，在沒有進一步調查和緩解風險的情況下，不應將其用於下游應用。這些風險和潛在的有問題的用例包括但不限於：生成錯誤信息以及生成有害、有偏差或冒犯性的內容。

📄 許可證

此模型遵循特殊許可證，請查看 LICENSE 文件以獲取詳細信息。該模型遵循非商業許可證（請查看 LICENSE 文件）。