Speechless Coder Ds 6.7b

🚀 speechless-coder-ds-6.7b

speechless-coder-ds-6.7b は、deepseek-ai/deepseek-coder-6.7b を特定のデータセットでファインチューニングしたモデルです。これにより、モデルの推論と計画能力が向上しています。このモデルには、CPU+GPU 推論に適した 4、5、8 ビットの GGUF モデルが用意されています。

🚀 クイックスタート

speechless-coder-ds-6.7b は、特定のデータセットを用いて deepseek-ai/deepseek-coder-6.7b をファインチューニングすることで、推論と計画能力を向上させたモデルです。以下のセクションでは、このモデルの主な特性、使用方法、詳細な評価結果などを説明します。

✨ 主な機能

• ファインチューニングデータセット：ise-uiuc/Magicoder-OSS-Instruct-75K と ise-uiuc/Magicoder-Evol-Instruct-110K データセットを使用してファインチューニングされており、合計 185,193 個のサンプル（サイズ 426 MB）が含まれています。
• コンテキストウィンドウ長：8192
• 最大トークン数：128 を超え、8192 未満
• 命令形式：Alpaca 命令形式を受け付けます。

💻 使用例

基本的な使用法

このモデルは Alpaca 命令形式を受け付けます。例えば：

You are an intelligent programming assistant.

### Instruction:
Implement a linked list in C++

### Response:

📚 ドキュメント

モデル評価

HumanEval

大規模コードモデルランキング での一部のモデルの性能：

• CodeLlama-34B-Python: 53.29
• CodeLlama-34B-Instruct: 50.79
• CodeLlama-13B-Instruct: 50.6
• CodeLlama-34B: 45.11
• CodeLlama-13B-Python: 42.89
• CodeLlama-13B: 35.07

BigCode Eval

• 一部の指標値は 0.314188 です。
  • metrics_humanevalfixtests-cpp: "pass@1": 0.27439024390243905
  • metrics_humanevalfixtests-go: "pass@1": 0.23170731707317074
  • metrics_humanevalfixtests-java: "pass@1": 0.25609756097560976
  • metrics_humanevalfixtests-js: "pass@1": 0.21951219512195122
  • metrics_humanevalfixtests-python: "pass@1": 0.23780487804878048
  • metrics_humanevalfixtests-rust: "pass@1": 0.13414634146341464
• 一部の指標値は 0.390111 です。
  • metrics_humanevalsynthesize-cpp: "pass@1": 0.3780487804878049
  • metrics_humanevalsynthesize-go: "pass@1": 0.25609756097560976
  • metrics_humanevalsynthesize-java: "pass@1": 0.45121951219512196
  • metrics_humanevalsynthesize-js: "pass@1": 0.4268292682926829
  • metrics_humanevalsynthesize-python: "pass@1": 0.5365853658536586
  • metrics_humanevalsynthesize-rust: "pass@1": 0.25
  • metrics_mbpp: "pass@1": 0.432

LMEval

オープン大規模言語モデルランキング

📄 ライセンス

このモデルは apache-2.0 ライセンスを使用しています。

🔗 関連リンク

• 4、5、8 ビットの GGUF モデル（CPU+GPU 推論用）
• コードリポジトリ