Codellama 13b Oasst Sft V10

🚀 Open-Assistant CodeLlama 13B SFT v10

本模型是Open-Assistant對Meta的CodeLlama 13B大語言模型進行微調後的產物。它能夠為用戶提供更符合特定需求的語言交互服務，在代碼處理等相關場景中具有一定優勢。

⚠️ 重要提示

由於新的RoPE Theta值（從1e4變為1e6），若要獲得正確結果，你必須使用trust_remote_code=True加載此模型，或者使用Huggingface transformers的最新主分支（直到4.33版本發佈）。

📚 詳細文檔

模型詳情

提示/提示模板

由於公眾需求（參見調查），我們將此模型的提示模板從自定義的提示器/助手標記改為OpenAI的chatml標準提示格式。我們希望這能提高與聊天推理/前端應用程序的兼容性。

提示對話模板

"""
<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
"""

模型輸入可以包含用戶和助手之間的多輪對話，例如：

<|im_start|>user
{prompt 1}<|im_end|>
<|im_start|>assistant
{reply 1}<|im_end|>
<|im_start|>user
{prompt 2}<|im_end|>
<|im_start|>assistant
(...)

該模型部分使用orca系統消息進行訓練。推理時，我們建議使用官方的Llama2系統消息：

<|im_start|>system
You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe. Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature.

If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.
<|im_end|>

致謝與特別感謝

• 感謝Meta AI訓練併發布CodeLLlama模型。
• 分佈式訓練支持由EPFL的機器學習與優化實驗室和自然語言處理實驗室提供。
• 微調使用了開源的epfLLM/Megatron-LLM訓練器。
• rombodawg整理了LosslessMegaCodeTrainingV2_1m_Evol_Uncensored數據集。
• ehartford生成併發布了ehartford/dolphin。
• shahules786使用聚類/質心方法對Dolphin和Megacode數據集進行去重和過濾，並生成了orca-best和bestofmegacode。
• andreaskoepf準備並協調了訓練工作。

倫理考量與侷限性

截至目前，測試僅使用英語進行，且無法涵蓋所有場景。因此，與所有大語言模型一樣，無法提前預測codellama-13b-oasst-sft-v10的潛在輸出，該模型在某些情況下可能會對用戶提示產生不準確、有偏見或其他令人反感的回覆。所以，在部署codellama-13b-oasst-sft-v10的任何應用之前，開發者應針對模型的特定應用進行安全測試和調整。

請參閱Meta的負責任使用指南。

配置詳情

用於對數據混合進行分詞的“預分詞器”工具是Open-Assistant GitHub倉庫的一部分，可在此處找到：model/pretokenizer。

預分詞器配置

orca_megacode_oasst_best:
  datasets:
    - orca-chat:
        val_split: 0.01
        max_val_set: 1000
    - bestofmegacode:
        val_split: 0.01
        max_val_set: 1000
    - oasst_export:
        lang: "bg,ca,cs,da,de,en,es,fr,hr,hu,it,nl,pl,pt,ro,ru,sl,sr,sv,uk"
        #hf_dataset_name: OpenAssistant/oasst1
        input_file_path: 2023-08-25_oasst_ready.jsonl.gz
        top_k: 1
        val_split: 0.025
  output_dir: "output/orca_megacode_oasst_best"
  filename_prefix: "orca_megacode_oasst_best"
  min_assistant_tokens: 1