Llama 3.1 Centaur 70B

🚀 Llama-3.1-Centaur-70B

Llama-3.1-Centaur-70B是一个认知基础模型，能够预测和模拟自然语言描述的任何行为实验中的人类行为。

🚀 快速开始

Llama-3.1-Centaur-70B可预测和模拟自然语言描述的任何行为实验中的人类行为。

模型信息

• 论文：A foundation model to predict and capture human cognition
• 更多信息：文档
• 联系方式：Marcel Binz

📦 安装指南

使用该模型需要2个或更多80GB GPU（NVIDIA Ampere或更新版本），并至少有150GB的可用磁盘空间用于下载。

💻 使用示例

基础用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "marcelbinz/Llama-3.1-Centaur-70B"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

高级用法

更多详细信息请参考这个示例脚本。你也可以使用低秩适配器在单个80GB GPU上使用unsloth运行该模型。

⚠️ 重要提示

请注意，Centaur是在一个数据集中训练的，其中人类选择由 "<<" 和 ">>" 标记封装。为了获得最佳性能，建议相应地调整提示。

📄 许可证

Llama 3.1社区许可协议

📚 引用信息

@misc{binz2024centaurfoundationmodelhuman,
      title={Centaur: a foundation model of human cognition}, 
      author={Marcel Binz and Elif Akata and Matthias Bethge and Franziska Brändle and Fred Callaway and Julian Coda-Forno and Peter Dayan and Can Demircan and Maria K. Eckstein and Noémi Éltető and Thomas L. Griffiths and Susanne Haridi and Akshay K. Jagadish and Li Ji-An and Alexander Kipnis and Sreejan Kumar and Tobias Ludwig and Marvin Mathony and Marcelo Mattar and Alireza Modirshanechi and Surabhi S. Nath and Joshua C. Peterson and Milena Rmus and Evan M. Russek and Tankred Saanum and Natalia Scharfenberg and Johannes A. Schubert and Luca M. Schulze Buschoff and Nishad Singhi and Xin Sui and Mirko Thalmann and Fabian Theis and Vuong Truong and Vishaal Udandarao and Konstantinos Voudouris and Robert Wilson and Kristin Witte and Shuchen Wu and Dirk Wulff and Huadong Xiong and Eric Schulz},
      year={2024},
      eprint={2410.20268},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2410.20268}, 
}