Orca Mini 3b

🚀 orca_mini_3b

Google ColabでT4 GPUを使ってorca - mini - 3bを無料で利用しましょう😃

このモデルは、[OpenLLaMa - 3Bモデル](https://github.com/openlm - research/open_llama)を、説明調整済みのデータセットで学習させたものです。WizardLM、Alpaca、Dolly - V2データセットの命令と入力を使用し、Orca Research Paperのデータセット構築手法を適用して作成されています。

🚀 クイックスタート

このモデルは、説明調整済みのデータセットを用いて学習されたOpenLLaMa - 3Bモデルです。以下のセクションでは、データセット、学習、使用例などについて詳しく説明します。

✨ 主な機能

• OpenLLaMa - 3Bモデルをベースに、説明調整済みのデータセットで学習。
• WizardLM、Alpaca、Dolly - V2データセットの命令と入力を活用。
• Orca Research Paperのデータセット構築手法を適用。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

import torch
from transformers import LlamaForCausalLM, LlamaTokenizer

# Hugging Face model_path
model_path = 'psmathur/orca_mini_3b'
tokenizer = LlamaTokenizer.from_pretrained(model_path)
model = LlamaForCausalLM.from_pretrained(
    model_path, torch_dtype=torch.float16, device_map='auto',
)


#generate text function
def generate_text(system, instruction, input=None):
    
    if input:
        prompt = f"### System:\n{system}\n\n### User:\n{instruction}\n\n### Input:\n{input}\n\n### Response:\n"
    else:
        prompt = f"### System:\n{system}\n\n### User:\n{instruction}\n\n### Response:\n"
    
    tokens = tokenizer.encode(prompt)
    tokens = torch.LongTensor(tokens).unsqueeze(0)
    tokens = tokens.to('cuda')

    instance = {'input_ids': tokens,'top_p': 1.0, 'temperature':0.7, 'generate_len': 1024, 'top_k': 50}

    length = len(tokens[0])
    with torch.no_grad():
        rest = model.generate(
            input_ids=tokens, 
            max_length=length+instance['generate_len'], 
            use_cache=True, 
            do_sample=True, 
            top_p=instance['top_p'],
            temperature=instance['temperature'],
            top_k=instance['top_k']
        )    
    output = rest[0][length:]
    string = tokenizer.decode(output, skip_special_tokens=True)
    return f'[!] Response: {string}'

# Sample Test Instruction Used by Youtuber Sam Witteveen https://www.youtube.com/@samwitteveenai
system = 'You are an AI assistant that follows instruction extremely well. Help as much as you can.'
instruction = 'Write a letter to Sam Altman, CEO of OpenAI, requesting him to convert GPT4 a private model by OpenAI to an open source project'
print(generate_text(system, instruction))

高度な使用法

# 高度な使用法についての説明は元のREADMEに記載されていないため、ここでは基本的な使用法のコードを再掲します。
import torch
from transformers import LlamaForCausalLM, LlamaTokenizer

# Hugging Face model_path
model_path = 'psmathur/orca_mini_3b'
tokenizer = LlamaTokenizer.from_pretrained(model_path)
model = LlamaForCausalLM.from_pretrained(
    model_path, torch_dtype=torch.float16, device_map='auto',
)


#generate text function
def generate_text(system, instruction, input=None):
    
    if input:
        prompt = f"### System:\n{system}\n\n### User:\n{instruction}\n\n### Input:\n{input}\n\n### Response:\n"
    else:
        prompt = f"### System:\n{system}\n\n### User:\n{instruction}\n\n### Response:\n"
    
    tokens = tokenizer.encode(prompt)
    tokens = torch.LongTensor(tokens).unsqueeze(0)
    tokens = tokens.to('cuda')

    instance = {'input_ids': tokens,'top_p': 1.0, 'temperature':0.7, 'generate_len': 1024, 'top_k': 50}

    length = len(tokens[0])
    with torch.no_grad():
        rest = model.generate(
            input_ids=tokens, 
            max_length=length+instance['generate_len'], 
            use_cache=True, 
            do_sample=True, 
            top_p=instance['top_p'],
            temperature=instance['temperature'],
            top_k=instance['top_k']
        )    
    output = rest[0][length:]
    string = tokenizer.decode(output, skip_special_tokens=True)
    return f'[!] Response: {string}'

# Sample Test Instruction Used by Youtuber Sam Witteveen https://www.youtube.com/@samwitteveenai
system = 'You are an AI assistant that follows instruction extremely well. Help as much as you can.'
instruction = 'Write a letter to Sam Altman, CEO of OpenAI, requesting him to convert GPT4 a private model by OpenAI to an open source project'
print(generate_text(system, instruction))

[!] Response:
Dear Sam Altman,

I am writing to request that you convert the GPT4 private model developed by OpenAI to an open source project. As a user of OpenAI, I have been waiting for the day when I can use the advanced natural language processing capabilities of GPT4 in a more open and accessible way.

While OpenAI has made significant progress in developing AI applications, it has primarily focused on building private models that are not accessible to the general public. However, with the recent release of GPT - 3, there is a growing demand for more open and accessible AI tools.

Converting GPT4 to an open source project would allow for greater transparency, collaboration, and innovation. It would also help to build trust in the technology and ensure that it is used ethically and responsibly.

I urge you to consider converting GPT4 to an open source project. This would be a significant contribution to the AI community and would help to create a more open and accessible future.

Thank you for your consideration.

Sincerely,

[Your Name]

📚 ドキュメント

データセット

このモデルの学習には、WizardLMデータセット ~70K、Alpacaデータセット ~52K、Dolly - V2データセット ~15Kを使用しています。これらのデータセットは、Orca Research Paperの手法を用いて作成されています。

通常の命令調整手法とは異なり、Orca Research Paperで提供されている15のシステム命令をすべて活用してカスタムデータセットを生成しています。これにより、このモデルは教師モデルであるChatGPT（gpt - 3.5 - turbo - 0301バージョン）から思考プロセスを学習することができます。

各命令の前にシステムプロンプトがどのように追加されるかは、以下の使用例を参照してください。

学習

学習の設定は以下の表に示されています。

学習は8台のA100（80G）GPUで行われ、Lambda Labsを使用して約4時間で完了し、コストは48ドルでした。

DeepSpeedを用いた完全分散データ並列化（[ZeRO stage 3](https://engineering.fb.com/2021/07/15/open - source/fsdp/)）を採用し、独自の微調整スクリプトを作成するとともに、素晴らしいOpenAlpacaリポジトリが提供する一部のモデル学習コードを活用しています。

学習中に使用されたパラメータの一部は以下の通りです。

次の目標

1. Orka Research Paperのように、FLAN - v2などのより多くのデータを試す（提案を歓迎します）
2. テキスト生成UIにより多くのオプションを提供する（例えばhttps://github.com/oobabooga/text - generation - webui）
3. 4bitのGGML/GPTQ量子化モデルを提供する（TheBlokeがここで助けてくれるかもしれません）

制限とバイアス

このモデルは事実に誤りのある出力を生成する可能性があり、事実に基づく正確な情報を生成することに依存してはいけません。

このモデルは様々な公開データセットで学習されています。事前学習データのクリーニングには多大な努力が払われていますが、このモデルが猥褻、偏見、またはその他の不快な出力を生成する可能性があります。

免責事項

このモデルのライセンスは法的なアドバイスを構成するものではありません。このモデルを使用する第三者の行動について、当方は責任を負いません。 商用目的でこのモデルを使用する前に、弁護士に相談してください。

引用

もしwizardlm_alpaca_dolly_orca_open_llama_3bがあなたの研究やアプリケーションで役立った場合、以下のBibTeXを使用して引用してください。

@misc{orca_mini_3b,
  author = {Pankaj Mathur},
  title = {wizardlm_alpaca_dolly_orca_open_llama_3b: An explain tuned OpenLLaMA - 3b model on custom wizardlm, alpaca, & dolly datasets},
  year = {2023},
  publisher = {GitHub, HuggingFace},
  journal = {GitHub repository, HuggingFace repository},
  howpublished = {\url{https://github.com/pankajarm/wizardlm_alpaca_dolly_orca_open_llama_3b}, \url{https://https://huggingface.co/psmathur/wizardlm_alpaca_dolly_orca_open_llama_3b}},
}

@misc{mukherjee2023orca,
      title={Orca: Progressive Learning from Complex Explanation Traces of GPT - 4}, 
      author={Subhabrata Mukherjee and Arindam Mitra and Ganesh Jawahar and Sahaj Agarwal and Hamid Palangi and Ahmed Awadallah},
      year={2023},
      eprint={2306.02707},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@software{openlm2023openllama,
  author = {Xinyang Geng and Hao Liu},
  title = {OpenLLaMA: An Open Reproduction of LLaMA},
  month = May,
  year = 2023,
  url = {https://github.com/openlm - research/open_llama}
}

@misc{openalpaca,
  author = {Yixuan Su and Tian Lan and Deng Cai},
  title = {OpenAlpaca: A Fully Open - Source Instruction - Following Model Based On OpenLLaMA},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/yxuansu/OpenAlpaca}},
}

@misc{alpaca,
  author = {Rohan Taori and Ishaan Gulrajani and Tianyi Zhang and Yann Dubois and Xuechen Li and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto },
  title = {Stanford Alpaca: An Instruction - following LLaMA model},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/tatsu - lab/stanford_alpaca}},
}

Open LLM Leaderboard評価結果

詳細な結果は[こちら](https://huggingface.co/datasets/open - llm - leaderboard/details_psmathur__orca_mini_3b)で確認できます。

Open LLM Leaderboard評価結果

詳細な結果は[こちら](https://huggingface.co/datasets/open - llm - leaderboard/details_psmathur__orca_mini_3b)で確認できます。

🔧 技術詳細

元のREADMEに具体的な技術詳細（50文字以上）が記載されていないため、このセクションをスキップします。

📄 ライセンス

このモデルのライセンスはcc - by - nc - sa - 4.0です。