Codellama 13b Oasst Sft V10

🚀 Open-Assistant CodeLlama 13B SFT v10

このモデルは、MetaのCodeLlama 13B LLMをOpen-Assistantでファインチューニングしたものです。

⚠️ 重要提示

新しいRoPE Theta値 (1e6 の代わりに 1e4) のため、正しい結果を得るには、trust_remote_code=True でこのモデルを読み込むか、Huggingface transformersの最新のメインブランチを使用する必要があります (バージョン4.33がリリースされるまで)。

📚 詳細ドキュメント

モデルの詳細

プロンプト / プロンプトテンプレート

公衆の要望 ( 調査 を参照) を受けて、このモデルのプロンプトテンプレートをカスタムのプロンプター/アシスタントトークンからOpenAIの chatml 標準プロンプト形式に変更しました。これにより、チャット推論/フロントエンドアプリケーションとの互換性が向上することを期待しています。

プロンプトダイアログテンプレート:

"""
<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
"""

モデルの入力には、ユーザーとアシスタントの間の複数の会話ターンを含めることができます。例えば:

<|im_start|>user
{prompt 1}<|im_end|>
<|im_start|>assistant
{reply 1}<|im_end|>
<|im_start|>user
{prompt 2}<|im_end|>
<|im_start|>assistant
(...)

このモデルは、一部orcaのシステムメッセージでトレーニングされています。推論には、公式の Llama2システムメッセージ を使用することをおすすめします。

<|im_start|>system
You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe. Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature.

If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.
<|im_end|>

謝辞と特別な感謝

• Meta AI に、CodeLLlamaモデルをトレーニングして公開してくれたことに感謝します。
• 分散トレーニングのサポートは、EPFLの Machine Learning and Optimization Laboratory と Natural Language Processing Lab から提供されました。
• オープンソースの epfLLM/Megatron-LLM トレーナーをファインチューニングに使用しました。
• rombodawg が LosslessMegaCodeTrainingV2_1m_Evol_Uncensored データセットを作成しました。
• ehartford が ehartford/dolphin を生成して公開しました。
• shahules786 が、クラスタリング/重心アプローチでDolphinとMegacodeデータセットを重複排除してフィルタリングし、orca-bestとbestofmegacodeを生成しました。
• andreaskoepf がトレーニングを準備して調整しました。

倫理的な考慮事項と制限事項

これまでに行われたテストは英語で行われており、すべてのシナリオをカバーしていない、またはカバーすることができない。これらの理由から、すべてのLLMと同様に、codellama-13b-oasst-sft-v10の潜在的な出力を事前に予測することはできず、モデルは場合によっては、ユーザーのプロンプトに対して不正確、偏った、またはその他の不快な応答を生成する可能性がある。したがって、codellama-13b-oasst-sft-v10のアプリケーションを展開する前に、開発者はモデルの特定のアプリケーションに合わせた安全性テストとチューニングを行う必要がある。

Metaの Responsible Use Guide を参照してください。

設定の詳細

データミックスをトークン化するために使用される "pretokenizer" ユーティリティは、Open-AssistantのGitHubリポジトリの一部であり、ここで見つけることができます: model/pretokenizer。

プリトークナイザーの設定

orca_megacode_oasst_best:
  datasets:
    - orca-chat:
        val_split: 0.01
        max_val_set: 1000
    - bestofmegacode:
        val_split: 0.01
        max_val_set: 1000
    - oasst_export:
        lang: "bg,ca,cs,da,de,en,es,fr,hr,hu,it,nl,pl,pt,ro,ru,sl,sr,sv,uk"
        #hf_dataset_name: OpenAssistant/oasst1
        input_file_path: 2023-08-25_oasst_ready.jsonl.gz
        top_k: 1
        val_split: 0.025
  output_dir: "output/orca_megacode_oasst_best"
  filename_prefix: "orca_megacode_oasst_best"
  min_assistant_tokens: 1