Orca Mini 13b

🚀 orca_mini_13b

orca_mini_13bは、説明調整されたデータセットで学習されたOpenLLaMa-13Bモデルです。WizardLM、Alpaca、Dolly-V2データセットの命令と入力を使用し、Orca研究論文のデータセット構築アプローチを適用して作成されまし。

🚀 クイックスタート

orca_mini_13bは、説明調整されたデータセットで学習されたOpenLLaMa-13Bモデルです。このモデルは、WizardLM、Alpaca、Dolly-V2データセットの命令と入力を使用し、Orca研究論文のデータセット構築アプローチを適用して作成されまし。

✨ 主な機能

• 説明調整されたデータセットで学習され、教師モデルの思考プロセスを学習することができます。
• 複数のデータセットを組み合わせて学習され、汎用的なテキスト生成能力を備えています。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

import torch
from transformers import LlamaForCausalLM, LlamaTokenizer

# Hugging Face model_path
model_path = 'psmathur/orca_mini_13b'
tokenizer = LlamaTokenizer.from_pretrained(model_path)
model = LlamaForCausalLM.from_pretrained(
    model_path, torch_dtype=torch.float16, device_map='auto',
)


#generate text function
def generate_text(system, instruction, input=None):
    
    if input:
        prompt = f"### System:\n{system}\n\n### User:\n{instruction}\n\n### Input:\n{input}\n\n### Response:\n"
    else:
        prompt = f"### System:\n{system}\n\n### User:\n{instruction}\n\n### Response:\n"
    
    tokens = tokenizer.encode(prompt)
    tokens = torch.LongTensor(tokens).unsqueeze(0)
    tokens = tokens.to('cuda')

    instance = {'input_ids': tokens,'top_p': 1.0, 'temperature':0.7, 'generate_len': 1024, 'top_k': 50}

    length = len(tokens[0])
    with torch.no_grad():
        rest = model.generate(
            input_ids=tokens, 
            max_length=length+instance['generate_len'], 
            use_cache=True, 
            do_sample=True, 
            top_p=instance['top_p'],
            temperature=instance['temperature'],
            top_k=instance['top_k']
        )    
    output = rest[0][length:]
    string = tokenizer.decode(output, skip_special_tokens=True)
    return f'[!] Response: {string}'

# Sample Test Instruction Used by Youtuber Sam Witteveen https://www.youtube.com/@samwitteveenai
system = 'You are an AI assistant that follows instruction extremely well. Help as much as you can.'
instruction = 'Write a letter to Sam Altman, CEO of OpenAI, requesting him to convert GPT4 a private model by OpenAI to an open source project'
print(generate_text(system, instruction))

出力例

[!] Response:
Dear Sam Altman,

I am writing to request that you convert the GPT4 private model developed by OpenAI to an open source project. As a user of OpenAI, I have been waiting for the day when I can use the advanced natural language processing capabilities of GPT4 in a more open and accessible way.

While OpenAI has made significant progress in developing AI applications, it has primarily focused on building private models that are not accessible to the general public. However, with the recent release of GPT-3, there is a growing demand for more open and accessible AI tools.

Converting GPT4 to an open source project would allow for greater transparency, collaboration, and innovation. It would also help to build trust in the technology and ensure that it is used ethically and responsibly.

I urge you to consider converting GPT4 to an open source project. This would be a significant contribution to the AI community and would help to create a more open and accessible future.

Thank you for your consideration.

Sincerely,

[Your Name]

📚 ドキュメント

データセット

説明調整されたWizardLMデータセット ~70K、Alpacaデータセット ~52K、Dolly-V2データセット ~15Kを、Orca研究論文のアプローチを使用して作成しました。Orca研究論文に提供されている15のシステム命令をすべて活用して、カスタムデータセットを生成しました。

学習

学習は8台のA100(80G) GPUで行われ、約15時間かかり、Lambda Labsを使用して約180ドルの費用がかかりました。DeepSpeedと完全にシャード化されたデータ並列処理（ZeROステージ3）を使用し、独自の微調整スクリプトを作成し、OpenAlpacaリポジトリの一部のモデル学習コードを活用しました。

学習中に使用されたパラメータは以下の通りです。

今後の目標

1. Orca研究論文のように、FLAN-v2などのより多くのデータを試す（提案を歓迎します）。
2. テキスト生成UIのオプションを増やす（例: oobabooga/text-generation-webui）。
3. 4bitのGGML/GPTQ量子化モデルを提供する（TheBlokeの助けがあると良いでしょう）。

制限事項とバイアス

このモデルは事実誤りのある出力を生成する可能性があり、事実的に正確な情報を生成することに依存しないでください。このモデルは様々な公開データセットで学習されています。事前学習データをクリーニングするために多大な努力が払われていますが、このモデルが猥褻、偏見、またはその他の不快な出力を生成する可能性があります。

免責事項

このモデルのライセンスは法的なアドバイスを構成するものではありません。このモデルを使用する第三者の行動については責任を負いません。このモデルを商用目的で使用する前に、弁護士に相談してください。

引用

もしwizardlm_alpaca_dolly_orca_open_llama_13bがあなたの研究やアプリケーションで役立った場合、以下のBibTeXを使用して引用してください。

@misc{orca_mini_13b,
  author = {Pankaj Mathur},
  title = {orca_mini_13b: An explain tuned OpenLLaMA-13b model on custom wizardlm, alpaca, & dolly datasets},
  year = {2023},
  publisher = {GitHub, HuggingFace},
  journal = {GitHub repository, HuggingFace repository},
  howpublished = {\url{https://github.com/pankajarm/wizardlm_alpaca_dolly_orca_open_llama_13b}, \url{https://https://huggingface.co/psmathur/wizardlm_alpaca_dolly_orca_open_llama_13b}},
}

@misc{mukherjee2023orca,
      title={Orca: Progressive Learning from Complex Explanation Traces of GPT-4}, 
      author={Subhabrata Mukherjee and Arindam Mitra and Ganesh Jawahar and Sahaj Agarwal and Hamid Palangi and Ahmed Awadallah},
      year={2023},
      eprint={2306.02707},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@software{openlm2023openllama,
  author = {Xinyang Geng and Hao Liu},
  title = {OpenLLaMA: An Open Reproduction of LLaMA},
  month = May,
  year = 2023,
  url = {https://github.com/openlm-research/open_llama}
}

@misc{openalpaca,
  author = {Yixuan Su and Tian Lan and Deng Cai},
  title = {OpenAlpaca: A Fully Open-Source Instruction-Following Model Based On OpenLLaMA},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/yxuansu/OpenAlpaca}},
}

@misc{alpaca,
  author = {Rohan Taori and Ishaan Gulrajani and Tianyi Zhang and Yann Dubois and Xuechen Li and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto },
  title = {Stanford Alpaca: An Instruction-following LLaMA model},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/tatsu-lab/stanford_alpaca}},
}

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。

📄 ライセンス

このモデルはCC BY-NC-SA 4.0ライセンスの下で提供されています。