Llama-3.2-3B-Instruct-GGUFオープンソース多言語大規模言語モデル - 無料でのデプロイが効率的な対話交流をサポート

Llama 3.2 3B Instruct GGUF

unslothによって開発

Llama-3.2-3BはMetaが開発した多言語大規模言語モデルで、3Bパラメータの事前学習と指示チューニング生成モデルを含み、多言語対話ユースケース向けに最適化されています。

ダウンロード数 40.11k

リリース時間 : 9/25/2024

モデル概要

Llama-3.2-3Bは多言語大規模言語モデルで、プロキシ検索や要約タスクを含む多言語対話ユースケース向けに最適化されています。一般的な業界ベンチマークテストでは、多くのオープンソースおよびクローズドソースのチャットモデルを上回る性能を発揮します。

モデル特徴

多言語サポート

英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語など多様な言語をサポートしています。

最適化されたトランスフォーマーアーキテクチャ

推論の拡張性を向上させるため、グループ化クエリアテンション(GQA)を採用した最適化されたトランスフォーマーアーキテクチャを使用しています。

指示チューニング

人間の嗜好に合わせるため、教師あり微調整(SFT)と人間のフィードバックに基づく強化学習(RLHF)を使用し、有用性と安全性を確保しています。

高性能

一般的な業界ベンチマークテストでは、多くのオープンソースおよびクローズドソースのチャットモデルを上回る性能を発揮します。

モデル能力

テキスト生成

多言語対話

プロキシ検索

要約タスク

使用事例

対話システム

多言語チャットボット

複数言語をサポートするチャットボットの構築に使用されます。

一般的な業界ベンチマークテストでは、多くのオープンソースおよびクローズドソースのチャットモデルを上回る性能を発揮します。

情報検索

プロキシ検索

情報検索やプロキシタスクに使用されます。

テキスト処理

テキスト要約

テキスト要約の生成に使用されます。

🚀 Llama-3.2-3B

このモデルはMetaによって開発された多言語大規模言語モデルで、多言語の対話や要約タスクなどに最適化されています。また、Unslothを使うことで高速にファインチューニングすることができます。

🚀 クイックスタート

モデルの全バージョン

当社のコレクションを参照すると、GGUF、4-bit、オリジナルの16-bit形式を含むLlama 3.2のすべてのバージョンを確認できます。

GGUFアップロード

16bit、8bit、6bit、5bit、4bit、3bit、2bitのアップロードが利用可能です。

Unslothを使った高速ファインチューニング

Unslothを使用すると、Llama 3.2、Gemma 2、Mistral 2を5倍速で、70％少ないメモリでファインチューニングできます。 Llama 3.2 (3B)用の無料のGoogle Colab Tesla T4ノートブックはこちら: https://colab.research.google.com/drive/1T5-zKWM_5OD21QHwXHiV9ixTRR7k3iB9?usp=sharing

✨ 主な機能

無料でのファインチューニング

すべてのノートブックは初心者にも使いやすく、データセットを追加して「すべて実行」をクリックするだけで、2倍速でファインチューニングされたモデルを取得できます。このモデルはGGUF、vLLMにエクスポートしたり、Hugging Faceにアップロードすることができます。

Unslothがサポートするモデル	無料のノートブック	パフォーマンス	メモリ使用量
Llama-3.2 (3B)	▶️ Colabで開始	2.4倍速	58%削減
Llama-3.1 (11B vision)	▶️ Colabで開始	2.4倍速	58%削減
Llama-3.1 (8B)	▶️ Colabで開始	2.4倍速	58%削減
Phi-3.5 (mini)	▶️ Colabで開始	2倍速	50%削減
Gemma 2 (9B)	▶️ Colabで開始	2.4倍速	58%削減
Mistral (7B)	▶️ Colabで開始	2.2倍速	62%削減
DPO - Zephyr	▶️ Colabで開始	1.9倍速	19%削減

会話用ノートブックは、ShareGPT ChatML / Vicunaテンプレートに役立ちます。
テキスト補完用ノートブックは生テキスト用です。DPOノートブックはZephyrを再現します。
* Kaggleには2つのT4がありますが、私たちは1つのみを使用しています。オーバーヘッドのため、1つのT4は5倍速です。

特別な感謝

このモデルを作成して公開してくれたMetaとLlamaチームに大きな感謝を申し上げます。

📚 ドキュメント

モデル情報

Meta Llama 3.2の多言語大規模言語モデル（LLM）コレクションは、1Bと3Bサイズの事前学習済みおよび命令調整済みの生成モデル（テキスト入力/テキスト出力）のコレクションです。Llama 3.2の命令調整済みのテキスト専用モデルは、多言語対話ユースケース、エージェント型検索や要約タスクなどに最適化されています。一般的な業界ベンチマークで、多くのオープンソースおよびクローズドチャットモデルを上回っています。

属性	详情
モデル開発者	Meta
モデルアーキテクチャ	Llama 3.2は最適化されたトランスフォーマーアーキテクチャを使用する自己回帰型言語モデルです。調整済みのバージョンは、教師付き微調整（SFT）と人間のフィードバックを用いた強化学習（RLHF）を使用して、有用性と安全性に関する人間の好みに合わせて調整されています。
サポート言語	英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語が公式にサポートされています。Llama 3.2はこれら8つのサポート言語よりも広範な言語コレクションで学習されています。開発者は、Llama 3.2コミュニティライセンスと許容使用ポリシーに準拠する限り、これらのサポート言語以外の言語でLlama 3.2モデルを微調整することができます。開発者は常に、追加の言語を含むデプロイが安全かつ責任を持って行われることを確認することが求められます。
Llama 3.2モデルファミリー	トークン数は事前学習データのみを指します。すべてのモデルバージョンは、推論の拡張性を向上させるためにグループ化クエリアテンション（GQA）を使用しています。
モデルリリース日	2024年9月25日
ステータス	これはオフラインデータセットで学習された静的モデルです。将来的には、モデルの能力と安全性を向上させたバージョンがリリースされる可能性があります。
ライセンス	Llama 3.2の使用は、Llama 3.2コミュニティライセンス（カスタムの商用ライセンス契約）によって管理されています。