Llama 3.2 3B Instruct Unsloth Bnb 4bit

🚀 unsloth/Llama-3.2-3B-unsloth-bnb-4bit

Unslothを使って、大規模言語モデル（LLM）のファインチューニングを2 - 5倍高速化し、メモリ使用量を70％削減しましょう！

🚀 クイックスタート

Llama 3.2 (3B) 用の無料Google Colab Tesla T4ノートブックがこちらにあります: https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Llama3.1_(8B)-Alpaca.ipynb

関連リンク

• Llama 3.2のGGUFや4-bitフォーマットを含むバージョンについては、コレクションをご覧ください。
• UnslothのDynamic 4-bit Quantsは選択的に量子化されており、標準的な4-bitよりも精度が大幅に向上しています。

✨ 主な機能

無料でファインチューニング

すべてのノートブックは初心者にも使いやすく、独自のデータセットを追加して「すべて実行」をクリックするだけで、2倍高速なファインチューニング済みモデルを得ることができます。このモデルはGGUF、vLLMにエクスポートしたり、Hugging Faceにアップロードすることもできます。

• Llama 3.2対話用ノートブック は、ShareGPT ChatML / Vicunaテンプレートに役立ちます。
• テキスト生成用ノートブック は生テキスト用です。DPOノートブック はZephyrを再現します。
• * Kaggleには2台のT4がありますが、ここでは1台のみを使用しています。オーバーヘッドのため、1台のT4は5倍高速です。

特別な感謝

これらのモデルを作成し公開してくれたMetaとLlamaチームに心から感謝いたします。

📚 ドキュメント

モデル情報

Meta Llama 3.2の多言語大規模言語モデル（LLM）は、1Bと3Bサイズの事前学習済みおよび命令微調整済みの生成モデルのコレクションです（テキスト入力/テキスト出力）。Llama 3.2の命令微調整済みのテキスト専用モデルは、多言語対話ユースケース、特にエージェント型の検索や要約タスクに最適化されています。一般的な業界ベンチマークで、多くのオープンソースおよびクローズドチャットモデルを上回る性能を発揮します。

モデルに関する質問やコメントは、モデルのREADMEに記載されている手順で提供してください。生成パラメータやアプリケーションでLlama 3.1を使用するためのレシピに関する詳細な技術情報は、こちらを参照してください。

📄 ライセンス

このモデルの使用は、Llama 3.2コミュニティライセンスに従います。