Tulu 65b

🚀 Tulu 65B

このモデルは、65BのLLaMaモデルを、複数の命令データセット（FLAN V2、CoT、Dolly、Open Assistant 1、GPT4 - Alpaca、Code - Alpaca、およびShareGPT）を用いてファインチューニングしたものです。 これはモデル差分であることに注意してください - 使用方法については以下を参照してください。

このモデルは論文 How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources の一環として学習されました。 このモデルを学習および評価するために使用されたコードベースは [https://github.com/allenai/open - instruct](https://github.com/allenai/open - instruct) で見つけることができます。

これは、このプロジェクトの一環として学習された中で最も強力なモデルです！

このモデルは、LICENSE.txtに記載されたAIモデルライセンスと元のLlamaライセンス（llama_license.txt）の下でライセンスされています。 ライセンスは [私たちのコードベース](https://github.com/allenai/open - instruct/tree/main/model_licenses) で見つけることができます - モデルのライセンスについては tulu_license.txt を、Llamaのライセンスについては llama_license.txt を参照してください。

🚀 クイックスタート

モデルへのアクセス

モデルへのアクセスをリクエストするには、次のフォームに記入してください。申請内容をレビューし、使用ケースが承認された場合に通知いたします。以下に提供する情報は、これらのモデルへのアクセス資格を評価するためにのみ使用されます。

データセット

• databricks/databricks - dolly - 15k
• OpenAssistant/oasst1
• sahil2801/CodeAlpaca - 20k

言語

• en

追加のゲート付きフォーム項目

📦 インストール

1. すでにHF形式のLLaMaモデルにアクセスできることを前提としています。アクセス方法とモデルの変換に関する詳細は、こちらで確認できます。 https://huggingface.co/docs/transformers/main/model_doc/llama
2. [https://github.com/allenai/open - instruct](https://github.com/allenai/open - instruct) をクローンし、必要な依存関係をインストールするか、scripts/weight_diff.py をコピーして、weight - diff - requirements.txt に記載されている最小限の要件をインストールします。その後、このモデル差分を同じマシンにダウンロードまたはクローンします。
3. 以下のコマンドを実行します。

python scripts/weight_diff.py recover --path_raw ${hf_llama_path} --path_tuned ${output_path} --path_diff ${diff_location}

これで、復元されたモデルが得られます。ただし、この操作はかなり多くのRAMを消費します。特に大きなモデルの場合に注意してください。

💻 使用例

基本的な使用法

このモデルは、次の形式（改行に注意）を使用するように学習されています。

<|user|>
あなたのメッセージをここに入力！
<|assistant|>

最良の結果を得るためには、すべての入力をこの形式で整形してください。<|assistant|> の後に改行を含めることを確認してください。これは生成品質にかなり影響を与える可能性があります。

高度な使用法

このモデルの性能を、論文 How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources で調査されたベンチマークに沿って示します。

このモデルを使用する場合は、私たちの研究、Llamaの論文、および元のデータセットを引用してください。

@misc{wang2023far,
      title={How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources}, 
      author={Yizhong Wang and Hamish Ivison and Pradeep Dasigi and Jack Hessel and Tushar Khot and Khyathi Raghavi Chandu and David Wadden and Kelsey MacMillan and Noah A. Smith and Iz Beltagy and Hannaneh Hajishirzi},
      year={2023},
      eprint={2306.04751},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{touvron2023llama,
      title={LLaMA: Open and Efficient Foundation Language Models}, 
      author={Hugo Touvron and Thibaut Lavril and Gautier Izacard and Xavier Martinet and Marie-Anne Lachaux and Timothée Lacroix and Baptiste Rozière and Naman Goyal and Eric Hambro and Faisal Azhar and Aurelien Rodriguez and Armand Joulin and Edouard Grave and Guillaume Lample},
      year={2023},
      eprint={2302.13971},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{dolly,
  author = {Databricks},
  title = {Free Dolly: Introducing the World's First Truly Open Instruction-Tuned LLM},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {Blog post},
  url = {https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm}
}

@article{longpre2023flan,
  title={The Flan Collection: Designing Data and Methods for Effective Instruction Tuning},
  author={Longpre, Shayne and Hou, Le and Vu, Tu and Webson, Albert and Chung, Hyung Won and Tay, Yi and Zhou, Denny and Le, Quoc V and Zoph, Barret and Wei, Jason and others},
  journal={arXiv preprint arXiv:2301.13688},
  year={2023}
}

@misc{köpf2023openassistant,
      title={OpenAssistant Conversations -- Democratizing Large Language Model Alignment}, 
      author={Andreas Köpf and Yannic Kilcher and Dimitri von Rütte and Sotiris Anagnostidis and Zhi-Rui Tam and Keith Stevens and Abdullah Barhoum and Nguyen Minh Duc and Oliver Stanley and Richárd Nagyfi and Shahul ES and Sameer Suri and David Glushkov and Arnav Dantuluri and Andrew Maguire and Christoph Schuhmann and Huu Nguyen and Alexander Mattick},
      year={2023},
      eprint={2304.07327},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@article{peng2023instruction,
  title={Instruction Tuning with GPT-4},
  author={Peng, Baolin and Li, Chunyuan and He, Pengcheng and Galley, Michel and Gao, Jianfeng},
  journal={arXiv preprint arXiv:2304.03277},
  year={2023}
}

@misc{codealpaca,
  author = {Sahil Chaudhary},
  title = {Code Alpaca: An Instruction-following LLaMA model for code generation},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/sahil280114/codealpaca}},
}

📄 ライセンス

このモデルは、LICENSE.txtに記載されたAIモデルライセンスと元のLlamaライセンス（llama_license.txt）の下でライセンスされています。 ライセンスは [私たちのコードベース](https://github.com/allenai/open - instruct/tree/main/model_licenses) で見つけることができます - モデルのライセンスについては tulu_license.txt を、Llamaのライセンスについては llama_license.txt を参照してください。