Starchat Alpha

🚀 StarChat Alpha モデルカード

StarChatは、コーディングを支援する言語モデルシリーズです。これらのモデルは、StarCoderをファインチューニングして作成されています。StarChat Alphaはその最初のモデルで、アルファ版として、教育または研究目的でのみ使用することを想定しています。特に、このモデルはRLHFなどの手法で人間の嗜好に合わせて調整されていないため、問題のある内容を生成する可能性があります（特にそのように促された場合）。

📚 ドキュメント

モデルの説明

• モデルタイプ：160億パラメータのGPTライクなモデルで、oasst1 と databricks-dolly-15k のデータセットをブレンドしてファインチューニングされています。
• 言語 (NLP)：英語
• ライセンス：BigCode Open RAIL-M v1
• ファインチューニング元のモデル：bigcode/starcoderbase

モデルのソース

• リポジトリ：https://github.com/bigcode-project/starcoder
• デモ：https://huggingface.co/spaces/HuggingFaceH4/starchat-playground

📋 使用方法

StarChat Alphaは教育および/または研究目的で使用することを想定しており、その点でオープンソース言語モデルのプログラミング能力を調査するために使用できます。

⚠️ バイアス、リスク、制限事項

StarChat Alphaは、RLHFなどの手法で人間の嗜好に合わせて調整されておらず、ChatGPTのようにレスポンスをループ内でフィルタリングしてデプロイされていないため、問題のある出力を生成する可能性があります（特にそのように促された場合）。主にコードデータでトレーニングされたモデルは、GitHubコミュニティの人口統計に応じた、より歪んだ人口統計的バイアスも持つことになります。これについての詳細は、The Stackから派生した StarCoderデータセット を参照してください。

ベースモデルは大量のコードコーパスで事前学習されているため、構文的には有効だが意味的には誤ったコードスニペットを生成する可能性があります。たとえば、コンパイルできないコードや誤った結果を生成するコードを生成することがあります。また、セキュリティ上の脆弱性のあるコードを生成することもあります。モデルはまた、誤ったURLを生成する傾向があり、クリックする前に注意深く検査する必要があります。

StarChat Alphaはベースモデル StarCoder Base からファインチューニングされています。関連情報については、そのモデルカードの 制限事項セクション を参照してください。特に、このモデルは性別バイアスのいくつかのカテゴリ、毒性の傾向、および既知のセキュリティ上の欠陥を持つコード補完を提案するリスクについて評価されており、これらの評価はその 技術レポート に報告されています。

🚀 クイックスタート

以下のコードを使用して、モデルを使い始めることができます。

🤗 Transformersの pipeline() 関数を使用してモデルを実行する方法は次の通りです。

import torch
from transformers import pipeline

pipe = pipeline("text-generation", model="HuggingFaceH4/starchat-alpha", torch_dtype=torch.bfloat16, device_map="auto")

prompt_template = "<|system|>\n<|end|>\n<|user|>\n{query}<|end|>\n<|assistant|>"
prompt = prompt_template.format(query="How do I sort a list in Python?")
# We use a special <|end|> token with ID 49155 to denote ends of a turn
outputs = pipe(prompt, max_new_tokens=256, do_sample=True, temperature=0.2, top_k=50, top_p=0.95, eos_token_id=49155)
# You can sort a list in Python by using the sort() method. Here's an example:\n\n```\nnumbers = [3, 1, 4, 1, 5, 9, 2, 6, 5, 3, 5]\nnumbers.sort()\nprint(numbers)\n```\n\nThis will sort the list in place and print the sorted list.

📄 ライセンス

BigCode Open RAIL-M v1

📖 引用

BibTeX：

@article{Tunstall2023starchat-alpha,
  author = {Tunstall, Lewis and Lambert, Nathan and Rajani, Nazneen and Beeching, Edward and Le Scao, Teven and von Werra, Leandro and Han, Sheon and Schmid, Philipp and Rush, Alexander},
  title = {Creating a Coding Assistant with StarCoder},
  journal = {Hugging Face Blog},
  year = {2023},
  note = {https://huggingface.co/blog/starchat},
}