Code Llama 3 8B

🚀 Code-Llama-3-8B

Code-Llama-3-8B是一個在大量代碼和數學數據集上訓練的模型，它在代碼生成方面表現出色，能夠支持多種編程語言，同時也能給出良好的數學輸出結果。該模型採用ChatML提示格式，經過完全微調，還提供了GGUF和Exllama v2版本。

✨ 主要特性

• 多語言支持：能夠生成多種編程語言的代碼，如Python、Java、JavaScript、GO、C++、Rust、Ruby、Sql、MySql、R、Julia、Haskell等。
• 詳細解釋：為生成的每段代碼提供詳細的解釋和邏輯說明。
• 良好的數學輸出：在處理數學相關問題時也能給出不錯的結果。
• 大規模數據集訓練：基於大量數據集進行訓練，保證了模型的性能和準確性。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

此模型使用ChatML提示格式。

<|im_start|>system
You are a helpful Coding assistant.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

你可以根據需求修改上述提示。例如：

This is a conversation with your helpful Coding assistant. Assistant can generate Code in various Programming Languages along with necessary explanation.

高級用法

暫未提供高級用法示例，可根據實際需求對基礎提示進行靈活調整。

📚 詳細文檔

訓練數據集

該模型在以下數據集的精煉版本上進行訓練：

• Code-290k-ShareGPT
• Code-Feedback
• orca-math-word-problems-200k
• CodeFeedback-Filtered-Instruction

模型版本

• GGUF：Link
• Exllama v2：Link

訓練信息

整個數據集在4 x A100 80GB上進行訓練，訓練2個週期耗時超過160小時。訓練使用了Axolotl和Deepspeed代碼庫，基於Meta的Llama-3-8B進行全量數據訓練。

示例輸出

• 示例1
• 示例2
• 示例3
• 示例4
• 示例5

🔧 技術細節

文檔未提供足夠的技術實現細節，故跳過此章節。

📄 許可證

該模型使用llama3許可證。