Llama 3.1 Centaur 70B

🚀 Llama-3.1-Centaur-70B

Llama-3.1-Centaur-70B是一個認知基礎模型，能夠預測和模擬自然語言描述的任何行為實驗中的人類行為。

🚀 快速開始

Llama-3.1-Centaur-70B可預測和模擬自然語言描述的任何行為實驗中的人類行為。

模型信息

• 論文：A foundation model to predict and capture human cognition
• 更多信息：文檔
• 聯繫方式：Marcel Binz

📦 安裝指南

使用該模型需要2個或更多80GB GPU（NVIDIA Ampere或更新版本），並至少有150GB的可用磁盤空間用於下載。

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "marcelbinz/Llama-3.1-Centaur-70B"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

高級用法

更多詳細信息請參考這個示例腳本。你也可以使用低秩適配器在單個80GB GPU上使用unsloth運行該模型。

⚠️ 重要提示

請注意，Centaur是在一個數據集中訓練的，其中人類選擇由 "<<" 和 ">>" 標記封裝。為了獲得最佳性能，建議相應地調整提示。

📄 許可證

Llama 3.1社區許可協議

📚 引用信息

@misc{binz2024centaurfoundationmodelhuman,
      title={Centaur: a foundation model of human cognition}, 
      author={Marcel Binz and Elif Akata and Matthias Bethge and Franziska Brändle and Fred Callaway and Julian Coda-Forno and Peter Dayan and Can Demircan and Maria K. Eckstein and Noémi Éltető and Thomas L. Griffiths and Susanne Haridi and Akshay K. Jagadish and Li Ji-An and Alexander Kipnis and Sreejan Kumar and Tobias Ludwig and Marvin Mathony and Marcelo Mattar and Alireza Modirshanechi and Surabhi S. Nath and Joshua C. Peterson and Milena Rmus and Evan M. Russek and Tankred Saanum and Natalia Scharfenberg and Johannes A. Schubert and Luca M. Schulze Buschoff and Nishad Singhi and Xin Sui and Mirko Thalmann and Fabian Theis and Vuong Truong and Vishaal Udandarao and Konstantinos Voudouris and Robert Wilson and Kristin Witte and Shuchen Wu and Dirk Wulff and Huadong Xiong and Eric Schulz},
      year={2024},
      eprint={2410.20268},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2410.20268}, 
}