Refact 1 6B Fim GGUF

🚀 Refact-1_6B-fim GGUFモデル

このモデルはテキスト生成に特化しており、多くのデータセットを用いて事前学習され、コード生成やチャットなどのタスクで高い性能を発揮します。また、最新の量子化方法を用いることで、超低ビットモデルの精度とメモリ効率を向上させています。

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。

1. モデルをダウンロードします。
2. 必要なライブラリをインストールします。
3. コード例を参考に、モデルを使用します。

✨ 主な機能

• テキスト生成: 様々なテキスト生成タスクに対応しています。
• コード生成: 多言語のコード生成が可能です。
• チャット機能: チャット形式での対話もサポートしています。
• 超低ビット量子化: 最新の量子化方法を用いて、メモリ効率を向上させています。

📦 インストール

必要なライブラリをインストールするには、以下のコマンドを実行します。

pip install -q transformers

💻 使用例

基本的な使用法

中間埋め込み (Fill - in - the - Middle) の使用例です。

# pip install -q transformers
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "smallcloudai/Refact - 1_6B - fim"
device = "cuda" # GPUを使用する場合、または "cpu" をCPUを使用する場合

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, trust_remote_code=True).to(device)

prompt = '<fim_prefix>def print_hello_world():\n    """<fim_suffix>\n    print("Hello world!")<fim_middle>'

inputs = tokenizer.encode(prompt, return_tensors="pt").to(device)
outputs = model.generate(inputs, max_length=100, temperature=0.2)
print("-" * 80)
print(tokenizer.decode(outputs[0]))

高度な使用法

チャット形式での使用例です。

prompt_template = "<empty_output>SYSTEM {system}\n" \
                  "<empty_output>USER {query}\n" \
                  "<empty_output>ASSISTANT"
prompt = prompt_template.format(system="あなたはプログラミングアシスタントです",
                                query="Pythonでリストを並べ替えるにはどうすればいいですか？")

📚 ドキュメント

モデルの選択

適切なモデル形式を選択するには、以下の表を参考にしてください。

含まれるファイルと詳細

以下のファイルが含まれています。

🔧 技術詳細

量子化方法

最新の量子化方法では、超低ビットモデル (1 - 2ビット) 用に精度適応型量子化を導入しており、Llama-3-8B でのベンチマークで改善が実証されています。このアプローチでは、レイヤー固有の戦略を使用して、極端なメモリ効率を維持しながら精度を保持します。

ベンチマークの背景

すべてのテストは、Llama-3-8B-Instruct を使用して以下の条件で実施されました。

• 標準のパープレキシティ評価パイプライン
• 2048トークンのコンテキストウィンドウ
• すべての量子化において同じプロンプトセット

方法

• 動的精度割り当て:
  • 最初/最後の25%のレイヤー → IQ4_XS (選択されたレイヤー)
  • 中央の50% → IQ2_XXS/IQ3_S (効率を向上させる)
• 重要コンポーネントの保護:
  • エンベディング/出力レイヤーはQ5_Kを使用
  • 標準の1 - 2ビット量子化と比較して、誤差伝播を38%削減

量子化性能の比較 (Llama-3-8B)

アーキテクチャ

• ALiBi ベースのアテンション
• LayerNorm を RMSNorm の代わりに使用
• Multi Query Attention

事前学習

ベースモデルには、許容的なライセンスのコードのみを含む独自のデータセットと、オープンなテキストデータセットを使用しました。このモデルの成功の鍵は、フィルタリングです。

• 英語のテキストのみを使用
• コンピュータサイエンスに関連するトピックのみ
• 重度の重複排除を適用

微調整

チャットデータがベースモデルのFIMおよび通常の左から右へのコード補完性能を向上させるという仮説をテストしました。品質をフィルタリングした、公開されているコード 命令追従 データセットのわずか15%で、ほとんどのメトリクスが改善されることがわかりました。

📄 ライセンス

このモデルは、BigScience OpenRAIL - M v1ライセンス契約の下で提供されています。