Llama 3 SauerkrautLM 8b Instruct

🚀 VAGO solutions Llama-3-SauerkrautLM-8b-Instruct

Llama-3-SauerkrautLM-8b-Instruct は、VAGO Solutions と Hyperspace.ai が共同で開発したモデルです。これは強力な meta-llama/Meta-Llama-3-8B-Instruct の改良版で、DPO とアライメントされており、ユーザーにより良いサービスを提供することができます。

🚀 クイックスタート

モデルバージョンのリンク

✨ 主な機能

• 共同開発：VAGO Solutions と Hyperspace.ai による共同開発です。
• 言語サポート：ドイツ語と英語の 2 つの言語をサポートしています。
• DPO アライメント：DPO とアライメントされており、モデルの性能が向上しています。
• データ最適化：入力に精心に計画されたドイツ語データを使用することで、モデルの能力が大幅に向上しています。

💻 使用例

基本的な使用法

英語のプロンプトテンプレート

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

You are a helpful AI assistant.<|eot_id|><|start_header_id|>user<|end_header_id|>

Input<|eot_id|><|start_header_id|>assistant<|end_header_id|>

ドイツ語のプロンプトテンプレート

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

Du bist ein freundlicher und hilfreicher deutscher KI-Assistent.<|eot_id|><|start_header_id|>user<|end_header_id|>

Input<|eot_id|><|start_header_id|>assistant<|end_header_id|>

高度な使用法

ドイツ語の出力例

Prompt: Erkläre mir die Vorteile für das Fine-Tuning von Meta's LLama Modellen.

Antwort:
Sehr gern!

Fine-tuning von Meta's LLaMA-Modellen ist eine sehr effektive Möglichkeit, um Ihre Anwendung oder Ihr Projekt mit einer hochentwickelten Sprachverarbeitung auszustatten.

Die Vorteile des Fine-Tunings von LLaMA-Modellen sind:

Adaptation an spezielle Aufgaben: Durch das Fine-Tuning können Sie die Modelle auf Ihre speziellen Bedürfnisse und Anforderungen anpassen.
Dies ermöglicht es Ihnen, die Leistung der Modelle in Ihren Anwendungen zu verbessern.

Verbesserte Genauigkeit: Die fine-tuned Modelle lernen, sich an die spezifischen Merkmale Ihres Datenbestands anzupassen, was zu einer besseren Genauigkeit bei der Textklassifizierung, -generierung, -summarisierung usw. führt.

Anpassung an Branche oder Domain: Wenn Sie beispielsweise ein Medizinprojekt haben, können Sie die Modelle auf medizinische Fachterminologie und -konzepte trainieren, um eine höhere Präzision bei der Analyse medizinischer Texte zu erzielen.

Kosten-Effektivität: Im Vergleich zum Training neuer Modelle von Grund auf kann das Fine-Tuning viel kosteneffektiver sein, da Sie nur einen kleinen Teil des Trainingsdatums benötigen, um die Modelle an Ihre spezifischen Anforderungen anzupassen.

Schnellere Entwicklung: Das Fine-Tuning ermöglicht es Entwicklern, schnell neue Funktionen und Features in ihre Anwendungen einzufügen, ohne dass sie lange warten müssen, bis neue Modelle trainiert werden.

Bessere Interpretierbarkeit: Da die fine-tuned Modelle auf Ihre spezifischen Daten bestimmt wurden, können Sie leichter verstehen, warum bestimmte Entscheidungen getroffen werden, was wichtig ist, wenn es um Transparenz und Verantwortlichkeit geht.

Insgesamt bietet das Fine-Tuning von LLaMA-Modellen eine flexible und effektive Möglichkeit, um Ihre Anwendungen und Projekte durch die Integration von fortschrittlichen Sprachmodellen zu verbessern.

📚 ドキュメント

モデルの詳細

学習過程

• このモデルは 2 段階の DPO ファインチューニングで学習されています。第 1 段階では 70k のデータを使用して 1 エポック学習し、第 2 段階では 20k のデータを使用してさらに 1 エポック学習します。
• LaserRMT バージョンは近日公開予定です。

📄 ライセンス

META LLAMA 3 コミュニティライセンス契約

Meta Llama 3 のリリース日: 2024 年 4 月 18 日

「契約」とは、本契約で規定された Llama 素材の使用、複製、配布、および修正の条件を指します。

「ドキュメント」とは、Meta が https://llama.meta.com/get-started/ で配布する Meta Llama 3 に付属する仕様、マニュアル、およびドキュメントを指します。

「被許諾者」または「あなた」とは、あなた、またはあなたの雇用主、またはあなたがその個人または団体を代表して本契約に署名する場合の他の個人または団体を指し、この個人または団体は、適用される法律、規則、または規制によって法律上の同意を与えることができる年齢に達しており、あなたがその代表として署名する場合、あなたの雇用主またはその他の個人または団体を拘束する法的権限を持っています。

「Meta Llama 3」とは、Meta が https://llama.meta.com/llama-downloads で配布する基礎となる大規模言語モデル、ソフトウェア、およびアルゴリズムを指し、機械学習モデルコード、学習済みのモデル重み、推論有効化コード、学習有効化コード、ファインチューニング有効化コード、および上記の他の要素を含みます。

「Llama 素材」とは、本契約に基づいて提供される Meta の独自の Meta Llama 3 およびドキュメント（およびその一部）の総称を指します。

「Meta」または「私たち」とは、あなたが欧州経済圏またはスイスに所在する場合、またはあなたが団体であり、その主たる営業地が欧州経済圏またはスイスにある場合は Meta Platforms Ireland Limited を、それ以外の場合は Meta Platforms, Inc. を指します。

1. 許諾権利と再配布

   • a. 権利の付与。あなたには、Llama 素材に含まれる Meta の知的財産権またはその他の権利に基づき、Llama 素材を使用、複製、配布、コピー、派生作品を作成、および修正する非排他的、世界規模の、譲渡不可かつ無料の限定的な許諾が付与されます。
   • b. 再配布と使用
     • i. Llama 素材（またはその派生作品）、またはその素材を使用した製品またはサービス（他の人工知能モデルを含む）を配布または提供する場合、あなたは (A) そのような Llama 素材とともに本契約のコピーを提供する必要があります。また、(B) 関連するウェブサイト、ユーザーインターフェイス、ブログ記事、アバウトページ、または製品ドキュメントに「Built with Meta Llama 3」を目立つように表示する必要があります。Llama 素材を使用して人工知能モデルを作成、学習、ファインチューニング、またはその他の方法で改善し、そのモデルを配布または提供する場合、あなたはまた、そのような人工知能モデルの名前の先頭に「Llama 3」を含める必要があります。
     • ii. あなたが被許諾者から統合された最終ユーザー製品の一部として Llama 素材またはその派生作品を受け取る場合、本契約の第 2 条はあなたに適用されません。
     • iii. あなたが配布するすべての Llama 素材のコピーには、そのコピーの一部として配布される「通知」テキストファイルに次の帰属声明を残す必要があります。「Meta Llama 3 は Meta Llama 3 コミュニティライセンスに基づいて許諾されており、著作権 © Meta Platforms, Inc. すべての権利を留保します。」
     • iv. あなたによる Llama 素材の使用は、適用される法律および規制（貿易コンプライアンスの法律および規制を含む）に従い、かつ Llama 素材の許容使用ポリシー（https://llama.meta.com/llama3/use-policy で入手可能）に従う必要があり、このポリシーはここに引用により本契約に組み込まれます。
     • v. あなたは、Llama 素材または Llama 素材の出力または結果を使用して、他の大規模言語モデル（Meta Llama 3 またはその派生作品を除く）を改善してはなりません。

2. 追加の商用条項。Meta Llama 3 のリリース日において、被許諾者またはその関連会社が提供する製品またはサービスの前月の月間アクティブユーザー数が 7 億を超える場合、あなたは Meta に許諾を請求する必要があり、Meta は独自の判断で許諾を与えるかどうかを決定することができ、Meta が明示的にそのような権利を与えるまで、あなたは本契約に基づくいかなる権利も行使することができません。

3. 保証の否認。適用される法律によって要求されない限り、Llama 素材およびその出力および結果は「現状のまま」提供され、いかなる形式の保証も提供されません。Meta は、明示または暗示を問わず、すべての形式の保証を否認します。これには、所有権、非侵害、適銷性、または特定の目的への適合性に関する保証が含まれます。あなたは、Llama 素材の使用または再配布の適切性を独自に判断し、Llama 素材およびその出力および結果の使用に関連するすべてのリスクを負う責任があります。

4. 責任の制限。いかなる場合も、Meta またはその関連会社は、本契約に起因する利益の損失または間接的、特殊的、結果的、偶発的、懲罰的、または罰則的な損害に対して責任を負いません。責任の理論（契約、不法行為、過失、製品責任、またはその他）に関係なく、Meta またはその関連会社がそのような損害の可能性を知っていた場合でも同様です。

5. 知的財産

   • a. 本契約では商標の許諾は付与されません。Llama 素材に関しては、Llama 素材を合理的かつ慣例的に説明および再配布するために必要な場合、または本节 5(a) で説明されている場合を除き、Meta および被許諾者は、相手方またはその関連会社が所有または関連するいかなる名称またはマークも使用してはなりません。Meta はここで、第 1.b.i 条の最後の文を遵守するために必要な場合にのみ「Llama 3」（「マーク」）を使用する許諾をあなたに与えます。あなたは、Meta のブランドガイドライン（現在は https://about.meta.com/brand/resources/meta/company-brand/ で入手可能）に従う必要があります。あなたがマークを使用することによって生じるすべての信頼性は Meta に帰属します。
   • b. Meta が Llama 素材およびその派生作品の所有者であることを考慮すると、あなたが作成した Llama 素材の派生作品および修正に関しては、あなたと Meta の間で、あなたがそのような派生作品および修正の所有者であり、かつそのままであることになります。
   • c. あなたが Meta または他の団体に対して訴訟またはその他の手続き（訴訟における交差請求または反訴を含む）を提起し、Llama 素材または Meta Llama 3 の出力または結果、またはそれらの一部が、あなたが所有または許諾することができる知的財産権またはその他の権利の侵害を構成すると主張する場合、本契約によってあなたに付与された許諾は、そのような訴訟または請求が提起された日から終了します。あなたは、あなたが Llama 素材を使用または配布することに起因する、またはそれに関連するすべての第三者の請求から Meta を補償し、保護する責任があります。

6. 期間と終了。本契約の期間は、あなたが本契約を受諾するか、または Llama 素材にアクセスする日から開始し、本契約の条件に基づいて終了するまで有効です。あなたが本契約のいずれかの条件に違反した場合、Meta は本契約を終了することができます。本契約が終了した後、あなたは Llama 素材を削除し、使用を停止する必要があります。第 3、4、および 7 条は、本契約が終了した後も有効です。

7. 適用法律と管轄権。本契約は、カリフォルニア州の法律に基づいて管轄され、解釈されます。法律選択の原則は考慮されません。国際連合国際物品売買契約条約は本契約に適用されません。カリフォルニア州の裁判所は、本契約に起因するすべての紛争に対して排他的な管轄権を有します。

Meta Llama 3 許容使用ポリシー

Meta は、そのツールや機能（Meta Llama 3 を含む）の安全かつ公正な使用を促進することに取り組んでいます。あなたが Meta Llama 3 にアクセスまたは使用する場合、あなたは本許容使用ポリシー（「ポリシー」）に同意したことになります。本ポリシーの最新バージョンは https://llama.meta.com/llama3/use-policy で確認できます。

禁止される使用

私たちは、誰もが Meta Llama 3 を安全かつ責任を持って使用することを期待しています。あなたは、以下の行為を行うために Meta Llama 3 を使用したり、他人に使用させたりしないことに同意します。

1. 法律または他人の権利を侵害する行為、以下を含みます。
   • 違法または犯罪行為や内容を関与、促進、生成、引き起こし、助長、計画、扇動、またはさらに実施する行為、例えば：
     • 暴力またはテロリズム
     • 児童の搾取または危害、児童搾取内容の勧誘、作成、取得、または配布、または児童性虐待材料の報告漏れ
     • 人身売買、搾取、および性的暴力
     • 未成年者への違法な情報または材料の配布、わいせつ材料を含む、またはそのような情報または材料に法律で要求される年齢制限を適用しないこと
     • 性的な勧誘
     • その他の犯罪行為
   • 個人またはグループに対する嫌がらせ、虐待、脅迫、またはいじめを関与、促進、扇動、または容易にする行為
   • 雇用、雇用福利、信用、住宅、その他の経済的福利、またはその他の基本的な商品やサービスの提供における差別またはその他の違法または有害な行為を関与、促進、扇動、または容易にする行為
   • 許可または免許なしに専門的な実践を行う行為、金融、法律、医療/健康、または関連する専門的な実践を含むがこれに限定されません
   • 適用される法律で要求される権利と同意を得ないで、個人の健康、統計、またはその他の敏感な個人または私的情報を収集、処理、開示、生成、または推測する行為
   • 第三者の権利を侵害、盗用、またはその他の方法で侵害する行為、またはそのような内容を生成する行為、Llama 素材を使用した製品またはサービスの出力または結果を含む
   • 悪意のあるコード、マルウェア、コンピュータウイルスを作成、生成、または容易にする行為、またはウェブサイトまたはコンピュータシステムの正常な動作、完全性、操作、または外観を無効化、過負荷にし、干渉、または損害する可能性のあるその他の操作を行う行為
2. 個人に死亡または身体的な危害をもたらすリスクのある活動の計画または実施を関与、促進、扇動、容易にする行為、または支援する行為、以下に関連する Meta Llama 3 の使用を含みます。
   • 軍事、戦争、原子力産業または応用、スパイ活動、米国国務省が維持する「国際武器貿易規制」（ITAR）で規制されている材料または活動
   • 銃器および違法武器（武器開発を含む）
   • 違法薬物および規制/管理物質
   • 重要インフラストラクチャ、輸送技術、または重型機械の運用
   • 自傷または他人への危害、自殺、自傷行為、および摂食障害を含む
   • 個人に対する暴力、虐待、または身体的な危害を扇動または促進する目的の内容
3. 他人を故意に欺瞞または誤解させる行為、以下に関連する Meta Llama 3 の使用を含みます。
   • 詐欺を生成、促進、またはさらに実施する行為、または虚偽情報を作成または促進する行為
   • 中傷的な内容を生成、促進、またはさらに配布する行為、中傷的な声明、画像、またはその他の内容を作成する行為
   • スパムを生成、促進、またはさらに配布する行為
   • 同意、許可、または合法的な権利を得ないで他人になりすます行為
   • Meta Llama 3 またはその出力が人間によって生成されたものであると主張する行為
   • 虚偽のオンラインインタラクションを生成または容易にする行為、虚偽のレビューやその他の虚偽のオンラインインタラクション方法を含む
4. 最終ユーザーに対してあなたの人工知能システムの既知の危険を適切に開示しない行為

本ポリシーの違反行為、ソフトウェアの「バグ」、または本ポリシーの違反につながる可能性のあるその他の問題を以下のいずれかの方法で報告してください。 - モデルの問題を報告する：https://github.com/meta-llama/llama3 - モデルが生成したリスク内容を報告する：developers.facebook.com/llama_output_feedback - バグとセキュリティ問題を報告する：facebook.com/whitehat/info - 許容使用ポリシーの違反または Meta Llama 3 の無許可使用を報告する：LlamaUseReport@meta.com

追加情報

追加情報フィールド:

• 名前: テキスト入力
• 姓: テキスト入力
• 生年月日: 日付選択
• 国: 国選択
• 所属機関: テキスト入力
• 地理位置: IP 位置情報

以下の「送信」ボタンをクリックすることで、私はライセンス契約の条項に同意し、提供した情報が Meta プライバシーポリシー に基づいて収集、保存、処理、および共有されることを確認します。

追加ボタン内容: 送信

評価

オープン大規模言語モデルランキング

lm-evaluation-benchmark-harness 0.4.2 を使用して評価

MT-Bench 英語評価

########## 第一回合 ########## 
                                         score 
model                            turn 
Llama-3-SauerkrautLM-8b-Instruct 1     8.15625 
  
########## 第二回合 ########## 
                                       score 
model                            turn 
Llama-3-SauerkrautLM-8b-Instruct 2      7.65 
  
########## 平均值 ########## 
                                     score 
model 
Llama-3-SauerkrautLM-8b-Instruct  7.903125 *

• 特定の命令学習のため、英語の MT-Bench スコアは元の LLama-3-8B-Instruct よりやや低くなっています。

MT-Bench ドイツ語評価

########## 第一回合 ##########
                                       score
model                            turn
Llama-3-SauerkrautLM-8b-Instruct 1     7.675

########## 第二回合 ##########
                                        score
model                            turn
Llama-3-SauerkrautLM-8b-Instruct 2     7.6375

########## 平均值 ##########
                                    score
model
Llama-3-SauerkrautLM-8b-Instruct  7.65625

ドイツ語 RAG 大規模言語モデル評価

修正後の結果: https://github.com/huggingface/lighteval/pull/171

|                         Task                         |Version|Metric|Value|   |Stderr|
|------------------------------------------------------|------:|------|----:|---|-----:|
|all                                                   |       |acc   |0.910|±  |0.0084|
|community:german_rag_eval:_average:0                  |       |acc   |0.910|±  |0.0084|
|community:german_rag_eval:choose_context_by_question:0|      0|acc   |0.928|±  |0.0082|
|community:german_rag_eval:choose_question_by_context:0|      0|acc   |0.824|±  |0.0120|
|community:german_rag_eval:con

連絡先

• VAGO solutions
• Hyperspace.ai