Llama 7b Hf

🚀 🦙 Huggingface Transformers用Llama

公式のLlama-7BをHFの変換スクリプトを通じてHuggingfaceモデルに変換し、Transformers/HuggingFaceで動作するようにしたLlama-7Bです。これは特別なライセンスの下にあり、詳細はLICENSEファイルを参照してください。

これはdecapoda-research/llama-7b-hfから更新されています（decapodaのリポジトリで多くのプルリクエストがまだマージされていないため、ここで直接新しいリポジトリを開いています）。以下の内容が含まれています。

(1) LlamaForCausalLMとLlamaTokenizerの両方で、transformersの命名規則に最適なように命名を変更（LLaMA → Llama）。これはtransformers>=4.28.0で完全に動作します。

(2) モデルチェックポイントは2つのシャードに保存されています（decapoda-research/Llama-7b-hfでは33のシャード）。シャードが少ないと、ディスクからの読み込み速度が向上します。

📚 詳細ドキュメント

モデルの詳細

想定される用途

主な想定用途 Llamaの主な用途は、大規模言語モデルに関する研究です。具体的には以下のようなことが含まれます。

• 質問応答、自然言語理解、または読解などの潜在的なアプリケーションの探索
• 現在の言語モデルの能力と限界の理解、およびそれらを改善するための技術の開発
• バイアス、リスク、有毒有害コンテンツの生成、幻覚の評価と軽減

主な想定ユーザー このモデルの主な想定ユーザーは、自然言語処理、機械学習、および人工知能の研究者です。

想定外の使用例 Llamaはベース、または基礎モデルです。そのため、さらなるリスク評価と軽減なしにダウンストリームアプリケーションで使用すべきではありません。特に、私たちのモデルは人間のフィードバックで学習されていないため、有毒または不快なコンテンツ、誤った情報、または一般的に役に立たない回答を生成する可能性があります。

要因

関連する要因 モデルの性能が異なる可能性がある最も関連する要因の1つは、使用される言語です。学習データには20の言語が含まれていますが、データセットの大部分は英語のテキストで構成されているため、モデルは英語で他の言語よりも良好な性能を発揮すると予想されます。関連して、以前の研究では、異なる方言で性能が異なる可能性があることが示されており、私たちのモデルでも同様のことが起こると予想されます。

評価要因 私たちのモデルはWebからのデータで学習されているため、このソースからのバイアスを反映していると予想されます。そのため、RAIデータセットで、性別、宗教、人種、性的指向、年齢、国籍、障害、容貌、および社会経済的地位に関するモデルのバイアスを測定しました。また、モデルにプロンプトとして使用されるコンテキストの毒性に応じて、モデルの生成の毒性を測定しました。

指標

モデル性能の測定 モデルを評価するために、以下の測定を使用します。

• 常識推論、読解、自然言語理解（MMLU）、BIG-bench hard、WinoGender、およびCrowS-Pairsの正解率
• 質問応答の完全一致率
• RealToxicityPromptsにおけるPerspective APIからの毒性スコア

決定閾値 該当しません。

不確定性と変動性へのアプローチ 大規模言語モデルの学習には高い計算要件が必要なため、各サイズのモデルを1つだけ学習させたため、事前学習の変動性を評価することができませんでした。

評価データセット

モデルは以下のベンチマークで評価されました。BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC、OpenBookQA、NaturalQuestions、TriviaQA、RACE、MMLU、BIG-bench hard、GSM8k、RealToxicityPrompts、WinoGender、CrowS-Pairs。

学習データセット

モデルは以下のデータソースを使用して学習されました。CCNet [67%]、C4 [15%]、GitHub [4.5%]、Wikipedia [4.5%]、Books [4.5%]、ArXiv [2.5%]、Stack Exchange[2%]。WikipediaとBooksのドメインには、以下の言語のデータが含まれています。bg、ca、cs、da、de、en、es、fr、hr、hu、it、nl、pl、pt、ro、ru、sl、sr、sv、uk。学習セットと対応する前処理の詳細については、論文を参照してください。

定量分析

モデルアーキテクチャのハイパーパラメータ

表1 - Llamaモデルのハイパーパラメータの概要

以下の表に、8つの標準的な常識推論ベンチマークでの結果を示します。

表2 - Llamaモデルの推論タスクでの性能の概要

以下の表に、バイアスに関する結果を示します。値が低いほどバイアスが少ないことを示します。

表3 - モデル出力のバイアスの概要

倫理的な考慮事項

データ モデルを学習するために使用されるデータは、主にWebからの様々なソースから収集されています。そのため、不快な、有害な、およびバイアスのあるコンテンツが含まれています。そのため、モデルが学習データからのバイアスを示すことが予想されます。

人間の生活 このモデルは、人間の生活に関する重要な決定を下すための情報提供を目的としておらず、そのように使用すべきではありません。

軽減策 私たちは、WebからのデータをWikipediaのテキストと参照の近さに基づいてフィルタリングしました。このために、Kneser-Ney言語モデルとfastText線形分類器を使用しました。

リスクと危害 大規模言語モデルのリスクと危害には、有害な、不快な、またはバイアスのあるコンテンツの生成が含まれます。これらのモデルは、誤った情報を生成する傾向があり、時には幻覚と呼ばれます。私たちのモデルもこの点で例外ではないと予想されます。

使用例 Llamaは基礎モデルです。そのため、さらなる調査とリスクの軽減なしにダウンストリームアプリケーションで使用すべきではありません。これらのリスクと潜在的な問題のある使用例には、誤情報の生成、および有害な、バイアスのある、または不快なコンテンツの生成が含まれますが、これらに限定されません。

📄 ライセンス

このモデルは特別なライセンスの下にあります。詳細については、LICENSEファイルを参照してください。