Meta Llama 3.1 8B Instruct Unsloth Bnb 4bit

🚀 unsloth/Llama-3.2-3B-unsloth-bnb-4bit

Unslothを通じて、大規模言語モデル（LLM）のファインチューニングを2 - 5倍高速化し、メモリ使用量を70％削減できます！

🚀 クイックスタート

GGUFや4ビット形式を含むLlama 3.1のバージョンについては、当社のコレクションをご覧ください。

UnslothのDynamic 4-bit Quantsは選択的に量子化されており、標準的な4ビットよりも精度が大幅に向上しています。

Llama 3.2 (3B)用の無料のGoogle Colab Tesla T4ノートブックはこちらにあります: https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Llama3.1_(8B)-Alpaca.ipynb

✨ 主な機能

無料でファインチューニング

すべてのノートブックは初心者にも使いやすくなっています！データセットを追加して「すべて実行」をクリックするだけで、2倍高速なファインチューニング済みモデルが得られ、GGUF、vLLMにエクスポートしたり、Hugging Faceにアップロードすることができます。

• このLlama 3.2会話用ノートブックは、ShareGPT ChatML / Vicunaテンプレートに役立ちます。
• このテキスト生成ノートブックは生テキスト用です。このDPOノートブックはZephyrを再現します。
• * Kaggleには2つのT4がありますが、私たちは1つのみを使用しています。オーバーヘッドのため、1つのT4は5倍高速です。

特別な感謝

これらのモデルを作成し、公開してくれたMetaとLlamaチームに心から感謝します。

モデル情報

Meta Llama 3.2の多言語大規模言語モデル（LLM）コレクションは、1Bと3Bのサイズの事前学習済みおよび命令微調整済みの生成モデルのコレクションです（テキスト入力/テキスト出力）。Llama 3.2の命令微調整済みのテキスト専用モデルは、多言語対話ユースケース、エージェント型検索や要約タスクを含むように最適化されています。一般的な業界ベンチマークで、多くのオープンソースおよびクローズドチャットモデルを上回っています。

モデルに関する質問やコメントは、モデルのREADMEに記載されている方法で送信してください。生成パラメータやLlama 3.1をアプリケーションで使用するためのレシピに関するより詳細な技術情報については、こちらを参照してください。

📄 ライセンス

Llama 3.2の使用は、Llama 3.2コミュニティライセンス（カスタムの商用ライセンス契約）によって管理されています。