Tinymistral V2 Pycoder Instruct 248m

🚀 tinymistral-v2-pycoder-instruct-248m

このモデルは、Locutusque/TinyMistral-248M-v2-Instruct をベースにしたPython専用のコード生成モデルです。

✨ 主な機能

このモデルは、Pythonコードの生成に特化しており、特定の指示に基づいて様々な品質のPythonコードを生成することができます。

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

以下のプロンプト形式を使用して、モデルを使い始めることができます。

<|im_start|>user 
Write a function for multiplying two numbers, from variables 'a' and 'b'.<|im_end|>
<|im_start|>assistant

📚 ドキュメント

モデルの詳細

この指示付きモデルは、元のモデルと同じくChatML形式を使用しています。空のプロンプトを与えると、ベースモデルから様々な情報が返されますが、指示付きの形式を使用すると、様々な品質のPythonコードが生成されます。

用途

このモデルはPythonコードの生成に使用できます。より包括的なデータセットでのファインチューニングが可能であり、現在実験中です。

トレーニングの詳細

トレーニングデータ

以下のカスタム形式の既存のPythonデータを使用してトレーニングされています。

• jtatman/python-code-dataset-500k
• jtatman/python-github-code-instruct-filtered-5k
• jtatman/pile_python_instruct_format

トレーニング手順

コンピューティング予算に応じてトレーニングを繰り返します。

前処理

alpaca/instruct形式への変換を行います。

トレーニングハイパーパラメータ

• トレーニング方式: fp16、必要かつ有益な場合にはパラメータのファインチューニングアダプターをマージします。

評価

評価指標

最新の評価指標は以下の通りです。

• epoch: 4.87
• global_step: 220
• learning_rate: 0.00006713780918727916
• loss: 2.3736

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。