Code Llama 3 8B

🚀 Code-Llama-3-8B

このモデルは、コードと数学のデータセットを用いて訓練され、コード生成や数学の出力に優れた性能を発揮します。様々なプログラミング言語でのコード生成が可能で、各コードの詳細な説明やロジックも生成します。

✨ 主な機能

• 様々なプログラミング言語（Python、Java、JavaScript、GO、C++、Rust、Ruby、Sql、MySql、R、Julia、Haskellなど）でのコード生成が可能。
• 各コードの詳細な説明やロジックを生成。
• コードと数学のデータセットを用いた訓練により、高品質な出力が得られる。

📦 インストール

GGUF形式とExllama v2形式のモデルが利用可能です。

• GGUF: Link
• Exllama v2: Link

💻 使用例

基本的な使用法

このモデルはChatMLプロンプト形式を使用しています。

<|im_start|>system
You are a helpful Coding assistant.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

必要に応じて上記のプロンプトを変更することができます。例えば：

This is a conversation with your helpful Coding assistant. Assistant can generate Code in various Programming Languages along with necessary explanation.

出力例

例1

例2

例3

例4

例5

🔧 技術詳細

訓練データセット

• ajibawa-2023/Code-290k-ShareGPT
• m-a-p/CodeFeedback-Filtered-Instruction
• m-a-p/Code-Feedback
• microsoft/orca-math-word-problems-200k

訓練環境

• 4 x A100 80GBで訓練。
• 2エポックの訓練に160時間以上かかりました。
• AxolotlとDeepspeedのコードベースを使用して訓練。
• Llama-3-8B by Metaをベースに訓練。

📄 ライセンス

このモデルはLlama3のライセンスの下で提供されています。

特別な感謝を述べます。Bartowskiにはこのモデルの量子化を行ってくれたこと、オープンソースコミュニティにはAI/モデル開発をより深く理解するための支援とガイダンスを提供してくれたことに感謝します。

皆様の愛とサポートに感謝します。