Tinymistral V2 Pycoder Instruct 248m

🚀 tinymistral-v2-pycoder-instruct-248m 模型卡片

本模型卡片介紹的是 tinymistral-v2-pycoder-instruct，這是一個基於 Locutusque/TinyMistral-248M-v2-Instruct 的特定於 Python 的代碼生成模型。

🚀 快速開始

使用以下提示格式來啟動模型：

<|im_start|>user 
Write a function for multiplying two numbers, from variables 'a' and 'b'.<|im_end|>
<|im_start|>assistant

✨ 主要特性

• 能夠生成 Python 代碼。
• 遵循 ChatML 格式。
• 可以使用更全面的數據集進行微調，相關實驗正在進行中。

📚 詳細文檔

模型詳情

此指令模型沿用了原始模型的 ChatML 格式。空提示將返回基礎模型的各種信息，而使用指令格式則會生成不同質量的 Python 代碼。

模型描述

該模型和基礎模型都處於積極開發中，使用時需謹慎。

用途

用於生成 Python 代碼，可能可以使用更全面的數據集進行微調，相關實驗正在進行中。

訓練詳情

訓練數據

使用來自以下來源的自定義格式現有 Python 數據：

• jtatman/python-code-dataset-500k
• jtatman/python-github-code-instruct-filtered-5k
• jtatman/pile_python_instruct_format

訓練過程

根據計算預算重複訓練。

預處理

轉換為 alpaca/指令格式。

訓練超參數

• 訓練機制：fp16，必要且有益時合併參數微調適配器。

評估

指標

最新指標如下：

• 輪次（epoch）：4.87
• 全局步數（global_step）：220
• 學習率（learning_rate）：0.00006713780918727916
• 損失（loss）：2.3736

📄 許可證

本模型使用 [MIT] 許可證。