Octocoder

🚀 OctoCoder

OctoCoderは、OctoPack論文に記載されているように、CommitPackFTとOASSTでStarCoderをファインチューニングすることで作成された、155億のパラメータを持つ命令調整モデルです。このモデルは、80以上のプログラミング言語に対応しており、高品質なコード生成を行うことができます。

🚀 クイックスタート

このセクションでは、OctoCoderモデルの概要、使用方法、トレーニング情報、引用方法について説明します。

目次

1. モデル概要
2. 使用方法
3. トレーニング
4. 引用

✨ 主な機能

• 多言語対応：80以上のプログラミング言語に対応。
• 高品質なコード生成：CommitPackFTとOASSTでファインチューニングされたモデル。

📚 ドキュメント

モデル概要

OctoCoderは、OctoPack論文に記載されているように、CommitPackFTとOASSTでStarCoderをファインチューニングすることで作成された、15.5Bのパラメータを持つ命令調整モデルです。

• リポジトリ：bigcode-project/octopack
• 論文：OctoPack: Instruction Tuning Code Large Language Models
• 言語：80以上のプログラミング言語
• OctoPack🐙🎒： | データ/モデル/評価 | 名称 | 詳細 | | ---- | ---- | ---- | | データ | CommitPack | 350のプログラミング言語にまたがる4TBのGitHubコミット | | データ | CommitPackFT | 命令に似た高品質のコミットメッセージ用にフィルタリングされたCommitPackのバージョン | | モデル | OctoCoder | CommitPackFT + OASSTで命令調整されたStarCoder (16Bパラメータ) | | モデル | OctoGeeX | CommitPackFT + OASSTで命令調整されたCodeGeeX2 (6Bパラメータ) | | 評価 | HumanEvalPack | OpenAIのHumanEvalを拡張して、6つの言語にまたがる3つのシナリオをカバー |

使用方法

意図された使用法

モデルは、入力に提供された命令に従います。入力は常に「Question: 」で始め、「Answer:」で終える必要があります。例えば、「Question: Please write a function in Python that performs bubble sort.\n\nAnswer:」のように入力します。

コミュニティタブで生成結果を自由に共有してください！

生成

# pip install -q transformers
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigcode/octocoder"
device = "cuda" # for GPU usage or "cpu" for CPU usage

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)

inputs = tokenizer.encode("Question: Please write a function in Python that performs bubble sort.\n\nAnswer:", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

トレーニング

モデル

• アーキテクチャ：マルチクエリアテンションとFill-in-the-Middle目的を持つGPT-2モデル
• ステップ：250kの事前学習と30の命令調整
• 事前学習トークン：1兆の事前学習と2Mの命令調整
• 精度：bfloat16

ハードウェア

• 事前学習：
  • GPU：512台のTesla A100
  • トレーニング時間：24日
• 命令調整：
  • GPU：8台のTesla A100
  • トレーニング時間：4時間

ソフトウェア

• オーケストレーション：Megatron-LM/Transformers
• ニューラルネットワーク：PyTorch

引用

@article{muennighoff2023octopack,
      title={OctoPack: Instruction Tuning Code Large Language Models}, 
      author={Niklas Muennighoff and Qian Liu and Armel Zebaze and Qinkai Zheng and Binyuan Hui and Terry Yue Zhuo and Swayam Singh and Xiangru Tang and Leandro von Werra and Shayne Longpre},
      journal={arXiv preprint arXiv:2308.07124},
      year={2023}
}

その他の情報

モデルの評価結果は以下の通りです。