Refact 1 6B Fim

🚀 Refact-1.6B

このモデルは、ブログ記事 でトレーニングを開始したもので、遂に完成しました 🎉

生成データでのファインチューニング後、Replit 3b、Stability Code 3b など多くのモデルを上回ります。サイズが 10 倍もある StarCoder にもほぼ勝る性能を発揮します！

このモデルは、スマートで高速なため、IDE でのコード補完に最適なモデルです！ Refact プラグイン をダウンロードすることですぐに使用を開始できます。また、オープンソースの Docker コンテナ を使用して、独自にモデルをホストすることもできます。

さらに、このモデルは多言語対応（下記の MultiPL-HumanEval やその他のメトリクスを参照）であり、チャットとしても機能します（以下のセクションを参照）。

✨ 主な機能

チャットとしての機能

このモデルの主な用途は、複数のプログラミング言語でのコード補完（インフィル）ですが、チャットとしても非常に良好に機能します。

命令追従（チャット）形式での HumanEval の結果を、チャット専用のモデルと比較した結果は以下の通りです。

💻 使用例

基本的な使用法

ミドル埋め込み（Fill-in-the-middle）では、入力と出力のプレフィックス/ミドル/サフィックス部分を識別するために特殊トークンを使用します。

# pip install -q transformers
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "smallcloudai/Refact-1_6B-fim"
device = "cuda" # for GPU usage or "cpu" for CPU usage

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, trust_remote_code=True).to(device)

prompt = '<fim_prefix>def print_hello_world():\n    """<fim_suffix>\n    print("Hello world!")<fim_middle>'

inputs = tokenizer.encode(prompt, return_tensors="pt").to(device)
outputs = model.generate(inputs, max_length=100, temperature=0.2)
print("-"*80)
print(tokenizer.decode(outputs[0]))

高度な使用法

同じモデルをチャットとして使用することもできます（実験的）。

prompt_template = "<empty_output>SYSTEM "

📚 詳細ドキュメント

モデル情報

モデル指標

Refact-1.6B の結果

📄 ライセンス

このモデルは bigscience-openrail-m ライセンスの下で提供されています。