Zephyr Python Ru Merged

🚀 zephyr-python-ru-mergedのモデルカード

このモデルは、コーディングパフォーマンスの向上とロシア語で書かれたコーディング関連の命令のサポートを目的とした、Zephyr-7b-betaの実験的なファインチューニングモデルです。

🚀 クイックスタート

このモデルは、自然言語（英語またはロシア語）で書かれた命令に基づいたPythonのコーディングをサポートしています。以下のプロンプトテンプレートを使用してください。

<|system|>
</s>
<|user|>
{prompt}</s>
<|assistant|>

✨ 主な機能

• ロシア語で書かれたコーディング関連の命令に対応
• 自然言語での命令に基づいたPythonコーディングのサポート

📦 インストール

READMEにインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

READMEに使用例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデルの詳細

モデルの説明

• 開発者: C.B. Pronin, A.V. Volosova, A.V. Ostroukh, Yu.N. Strogov, V.V. Kurbatov, A.S. Umarova
• モデルの種類: BaseモデルHuggingFaceH4/zephyr-7b-betaと、公開データと機械翻訳された合成Pythonコーディングデータセットの混合データで学習されたLoRA (Peft)アダプターモデルMexIvanov/zephyr-python-ruをマージしたモデル
• 言語: ロシア語、英語、Python
• ライセンス: MIT
• ファインチューニング元のモデル: HuggingFaceH4/zephyr-7b-beta

モデルのソース

• 論文: https://arxiv.org/abs/2409.09353

用途

このモデルは、Zephyr-7b-betaの実験的なファインチューニングモデルで、コーディングパフォーマンスの向上とロシア語で書かれたコーディング関連の命令のサポートを目的としています。

直接使用

自然言語（英語またはロシア語）で書かれた命令に基づいたPythonのコーディングを行います。

バイアス、リスク、制限事項

このアダプターモデルは、研究目的での使用を想定していますが、これに限定されません。コードベースの命令セットで学習されており、モデレーションメカニズムはありません。自己責任で使用してください。

Zephyr（ベースモデル）のリポジトリからの引用: "Zephyr-7B-βは、RLHFフェーズで人間の安全嗜好にアラインされていないため、ChatGPTのような応答のフィルタリングを行っていません。そのため、問題のある出力を生成する可能性があります。また、ベースモデル（mistralai/Mistral-7B-v0.1）の学習に使用されたコーパスのサイズと構成は不明ですが、Webデータと書籍やコードなどの技術的ソースの混合を含んでいる可能性があります。詳細はFalcon 180Bのモデルカードを参照してください。"

推奨事項

ユーザーは、このモデルのリスク、バイアス、制限事項を認識する必要があります。さらなる推奨事項については、詳細な情報が必要です。

学習手順

学習中に使用されたbitsandbytesの量子化設定は以下の通りです。

• quant_method: QuantizationMethod.BITS_AND_BYTES
• load_in_8bit: False
• load_in_4bit: True
• llm_int8_threshold: 6.0
• llm_int8_skip_modules: None
• llm_int8_enable_fp32_cpu_offload: False
• llm_int8_has_fp16_weight: False
• bnb_4bit_quant_type: nf4
• bnb_4bit_use_double_quant: False
• bnb_4bit_compute_dtype: float16

フレームワークのバージョン

• PEFT 0.6.2

🔧 技術詳細

READMEに技術詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。