Llama 3.2 1B Instruct GGUF

🚀 unsloth/Llama-3.2-1B-Instruct

このモデルは、Metaが開発したLlama 3.2シリーズの1Bサイズの言語モデルです。多言語対応で、対話や要約などのタスクに最適化されています。また、Unslothを使うことで、高速かつ省メモリでファインチューニングが可能です。

🚀 クイックスタート

モデルのバージョン

当社のコレクションを参照すると、GGUF、4-bit、元の16-bit形式を含む、すべてのバージョンのLlama 3.2を見ることができます。

GGUFアップロード

16bit、8bit、6bit、5bit、4bit、3bit、2bitのアップロードが利用可能です。

無料でのファインチューニング

Unslothを使うことで、Llama 3.2、Gemma 2、Mistral 2を5倍高速に、70％少ないメモリでファインチューニングすることができます。Llama 3.2 (3B) 用の無料のGoogle Colab Tesla T4ノートブックがこちらにあります: 🔗

ファインチューニングの詳細

すべてのノートブックは初心者にも使いやすいです！データセットを追加し、「すべて実行」をクリックすると、2倍高速なファインチューニングされたモデルが得られ、GGUF、vLLMにエクスポートしたり、Hugging Faceにアップロードすることができます。

• この会話用ノートブックは、ShareGPT ChatML / Vicunaテンプレートに役立ちます。
• このテキスト生成用ノートブックは、生テキスト用です。このDPOノートブックは、Zephyrを再現します。
• * Kaggleには2つのT4がありますが、私たちは1つだけを使用しています。オーバーヘッドのため、1つのT4は5倍高速です。

✨ 主な機能

モデルの開発者

Meta

モデルのアーキテクチャ

Llama 3.2は、最適化されたトランスフォーマーアーキテクチャを使用する自己回帰型言語モデルです。チューニングされたバージョンは、教師付き微調整 (SFT) と人間のフィードバックを用いた強化学習 (RLHF) を使用して、有用性と安全性に関する人間の好みに合わせて調整されています。

サポートされる言語

英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語が公式にサポートされています。Llama 3.2は、これら8つのサポート言語よりも広範な言語コレクションでトレーニングされています。開発者は、Llama 3.2コミュニティライセンスと許容使用ポリシーに準拠する限り、これらのサポート言語以外の言語でLlama 3.2モデルをファインチューニングすることができます。開発者は、常に、追加の言語を含むデプロイが安全かつ責任を持って行われることを確認する必要があります。

モデルのリリース日

2024年9月25日

ステータス

これはオフラインデータセットでトレーニングされた静的モデルです。将来的には、モデルの能力と安全性を向上させたバージョンがリリースされる可能性があります。

ライセンス

Llama 3.2の使用は、Llama 3.2コミュニティライセンス（カスタムの商用ライセンス契約）によって管理されています。

モデルに関する質問やコメントを送る場所 モデルに関するフィードバックやコメントを提供する方法に関する指示は、モデルのREADMEに記載されています。生成パラメータや、Llama 3.1をアプリケーションで使用するためのレシピに関するより詳細な技術情報については、こちらを参照してください。

📄 ライセンス

Llama 3.2の使用は、Llama 3.2コミュニティライセンス（カスタムの商用ライセンス契約）によって管理されています。

🔧 技術詳細

モデルの概要

Meta Llama 3.2の多言語大規模言語モデル (LLM) コレクションは、1Bと3Bのサイズの事前学習および命令調整された生成モデル (テキスト入力/テキスト出力) のコレクションです。Llama 3.2の命令調整されたテキスト専用モデルは、多言語対話ユースケース、エージェント型検索や要約タスクを含む、に最適化されています。一般的な業界ベンチマークで、多くのオープンソースおよびクローズドチャットモデルを上回っています。

モデルのアーキテクチャ

Llama 3.2は、最適化されたトランスフォーマーアーキテクチャを使用する自己回帰型言語モデルです。チューニングされたバージョンは、教師付き微調整 (SFT) と人間のフィードバックを用いた強化学習 (RLHF) を使用して、有用性と安全性に関する人間の好みに合わせて調整されています。

サポートされる言語

英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語が公式にサポートされています。Llama 3.2は、これら8つのサポート言語よりも広範な言語コレクションでトレーニングされています。開発者は、Llama 3.2コミュニティライセンスと許容使用ポリシーに準拠する限り、これらのサポート言語以外の言語でLlama 3.2モデルをファインチューニングすることができます。開発者は、常に、追加の言語を含むデプロイが安全かつ責任を持って行われることを確認する必要があります。

モデルのリリース日

2024年9月25日

ステータス

これはオフラインデータセットでトレーニングされた静的モデルです。将来的には、モデルの能力と安全性を向上させたバージョンがリリースされる可能性があります。

モデルのファミリー

トークン数は事前学習データのみを参照しています。すべてのモデルバージョンは、推論の拡張性を向上させるためにグループ化クエリアテンション (GQA) を使用しています。

ライセンス

Llama 3.2の使用は、Llama 3.2コミュニティライセンス（カスタムの商用ライセンス契約）によって管理されています。

フィードバックの提供方法

モデルに関するフィードバックやコメントを提供する方法に関する指示は、モデルのREADMEに記載されています。生成パラメータや、Llama 3.1をアプリケーションで使用するためのレシピに関するより詳細な技術情報については、こちらを参照してください。

特別な感謝

これらのモデルを作成して公開してくれたMetaとLlamaチームに大きな感謝を送ります。