Llama 3.1 Centaur 70B

🚀 Llama-3.1-Centaur-70B

Llama-3.1-Centaur-70Bは、自然言語で記述されたあらゆる行動実験における人間の行動を予測およびシミュレートできる認知基礎モデルです。

🚀 クイックスタート

Llama-3.1-Centaur-70Bは、自然言語で記述されたあらゆる行動実験における人間の行動を予測およびシミュレートすることができます。

モデル情報

• 論文：A foundation model to predict and capture human cognition
• 詳細情報：ドキュメント
• 連絡先：Marcel Binz

📦 インストール

このモデルを使用するには、2つ以上の80GB GPU（NVIDIA Ampere以降）が必要で、ダウンロードに少なくとも150GBの空きディスク容量が必要です。

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "marcelbinz/Llama-3.1-Centaur-70B"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

高度な使用法

詳細については、このサンプルスクリプトを参照してください。また、低秩アダプターを使用して、単一の80GB GPU上でunslothを使用してこのモデルを実行することもできます。

⚠️ 重要な注意事項

Centaurは、人間の選択が "<<" と ">>" のタグで囲まれたデータセットで学習されています。最適な性能を得るためには、プロンプトを適切に調整することをお勧めします。

📄 ライセンス

Llama 3.1コミュニティライセンス契約

📚 引用情報

@misc{binz2024centaurfoundationmodelhuman,
      title={Centaur: a foundation model of human cognition}, 
      author={Marcel Binz and Elif Akata and Matthias Bethge and Franziska Brändle and Fred Callaway and Julian Coda-Forno and Peter Dayan and Can Demircan and Maria K. Eckstein and Noémi Éltető and Thomas L. Griffiths and Susanne Haridi and Akshay K. Jagadish and Li Ji-An and Alexander Kipnis and Sreejan Kumar and Tobias Ludwig and Marvin Mathony and Marcelo Mattar and Alireza Modirshanechi and Surabhi S. Nath and Joshua C. Peterson and Milena Rmus and Evan M. Russek and Tankred Saanum and Natalia Scharfenberg and Johannes A. Schubert and Luca M. Schulze Buschoff and Nishad Singhi and Xin Sui and Mirko Thalmann and Fabian Theis and Vuong Truong and Vishaal Udandarao and Konstantinos Voudouris and Robert Wilson and Kristin Witte and Shuchen Wu and Dirk Wulff and Huadong Xiong and Eric Schulz},
      year={2024},
      eprint={2410.20268},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2410.20268}, 
}