Llama 7b Hf Transformers 4.29

🚀 llama-7b-transformers-4.29

最新のtransformersバージョンを使用して、LlamaTokenizerFast実装で元の重みを変換しました。

📚 詳細ドキュメント

モデルの詳細

想定される用途

主な想定用途

LLaMAの主な用途は、大規模言語モデルに関する研究です。これには以下が含まれます：

• 質問応答、自然言語理解、または読解などの潜在的なアプリケーションの探索
• 現在の言語モデルの能力と限界の理解、およびそれらを改善する技術の開発
• バイアス、リスク、有毒および有害なコンテンツの生成、幻覚の評価と軽減

主な想定ユーザー

このモデルの主な想定ユーザーは、自然言語処理、機械学習、および人工知能の研究者です。

想定外のユースケース

LLaMAはベースまたは基礎モデルです。そのため、さらなるリスク評価と軽減なしに下流のアプリケーションで使用すべきではありません。特に、私たちのモデルは人間のフィードバックを用いてトレーニングされていないため、有毒または不快なコンテンツ、誤った情報、または一般的に役に立たない回答を生成する可能性があります。

要因

関連要因

モデルの性能が異なる可能性がある最も関連性の高い要因の1つは、使用する言語です。トレーニングデータには20の言語が含まれていますが、データセットの大部分は英語のテキストで構成されているため、モデルは英語で他の言語よりも良好な性能を発揮すると予想されます。関連して、以前の研究では、異なる方言で性能が異なる可能性があることが示されており、私たちのモデルにも同様のことが起こると予想されます。

評価要因

私たちのモデルはウェブからのデータでトレーニングされているため、このソースからのバイアスを反映していると予想されます。そのため、RAIデータセットで評価を行い、モデルが性別、宗教、人種、性的指向、年齢、国籍、障害、容貌、および社会経済的地位に関して示すバイアスを測定しました。また、モデルにプロンプトとして使用するコンテキストの毒性に応じて、モデルの生成物の毒性を測定しました。

指標

モデルの性能測定

モデルの評価には以下の指標を使用しています：

• 常識推論、読解、自然言語理解（MMLU）、BIG-bench hard、WinoGender、およびCrowS-Pairsの正解率
• 質問応答の完全一致率
• RealToxicityPromptsにおけるPerspective APIからの毒性スコア

決定閾値

該当なし。

不確実性と変動性へのアプローチ

大規模言語モデルのトレーニングには高い計算リソースが必要なため、各サイズのモデルを1つだけトレーニングしたため、事前トレーニングの変動性を評価することができませんでした。

評価データセット

モデルは以下のベンチマークで評価されました：BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC、OpenBookQA、NaturalQuestions、TriviaQA、RACE、MMLU、BIG-bench hard、GSM8k、RealToxicityPrompts、WinoGender、CrowS-Pairs。

トレーニングデータセット

モデルは以下のデータソースを使用してトレーニングされました：CCNet [67%]、C4 [15%]、GitHub [4.5%]、Wikipedia [4.5%]、Books [4.5%]、ArXiv [2.5%]、Stack Exchange[2%]。WikipediaとBooksのドメインには、bg、ca、cs、da、de、en、es、fr、hr、hu、it、nl、pl、pt、ro、ru、sl、sr、sv、ukの言語のデータが含まれています。トレーニングセットと対応する前処理の詳細については、論文を参照してください。

定量的分析

モデルアーキテクチャのハイパーパラメータ

表1 - LLaMAモデルのハイパーパラメータの概要

推論タスクの性能

表2 - LLaMAモデルの推論タスクにおける性能の概要

バイアスの概要

表3 - モデル出力のバイアスの概要

倫理的な考慮事項

データ

モデルのトレーニングに使用されるデータは、主にウェブからの様々なソースから収集されています。そのため、不快な、有害な、および偏ったコンテンツが含まれています。したがって、モデルがトレーニングデータからのバイアスを示すことが予想されます。

人間の生活

このモデルは、人間の生活にとって中心的な問題に関する決定を下すための情報提供を目的としておらず、そのような方法で使用すべきではありません。

軽減策

ウェブからのデータは、Wikipediaのテキストと参照との近接性に基づいてフィルタリングされました。このために、Kneser-Ney言語モデルとfastText線形分類器を使用しました。

リスクと危害

大規模言語モデルのリスクと危害には、有害な、不快な、または偏ったコンテンツの生成が含まれます。これらのモデルはしばしば誤った情報を生成しやすく、時には幻覚と呼ばれることもあります。私たちのモデルもこの点で例外ではないと予想されます。

ユースケース

LLaMAは基礎モデルであるため、リスクのさらなる調査と軽減なしに下流のアプリケーションで使用すべきではありません。これらのリスクと潜在的な問題のあるユースケースには、誤情報の生成、および有害な、偏った、または不快なコンテンツの生成が含まれますが、これらに限定されません。

📄 ライセンス

Non-commercial bespoke license