Galactica 125m

🚀 GALACTICA 125M (迷你版)

GALACTICA 125M（迷你版）是基于Transformer架构的模型，在大规模科学语料库上训练，可执行多种科学任务，如引用预测、科学问答等，为科学研究和开发提供支持。

本模型卡片参考了原始 仓库 的内容。

遵循 Mitchell 等人（2018） 的标准，此模型卡片提供了关于 GALACTICA 模型的信息，包括其训练方式和预期用例。有关模型训练和评估的完整详细信息，请参阅 发布论文。

✨ 主要特性

• 大规模科学语料训练：GALACTICA 模型在大规模科学语料库上进行训练，能够执行多种科学任务，包括但不限于引用预测、科学问答、数学推理、摘要生成、文档生成、分子属性预测和实体提取等。
• 多参数规模选择：开发了从 125M 到 120B 参数规模不等的模型，可满足不同场景的需求。

📦 安装指南

本模型以非商业性的 CC BY - NC 4.0 许可证提供。有关如何使用该模型的更多信息，请参阅本仓库的 README.md 文件。

💻 使用示例

基础用法

使用 PyTorch 模型在 CPU 上运行模型

from transformers import AutoTokenizer, OPTForCausalLM

tokenizer = AutoTokenizer.from_pretrained("facebook/galactica-125m")
model = OPTForCausalLM.from_pretrained("facebook/galactica-125m")

input_text = "The Transformer architecture [START_REF]"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

高级用法

使用 PyTorch 模型在 GPU 上运行模型

# pip install accelerate
from transformers import AutoTokenizer, OPTForCausalLM

tokenizer = AutoTokenizer.from_pretrained("facebook/galactica-125m")
model = OPTForCausalLM.from_pretrained("facebook/galactica-125m", device_map="auto")

input_text = "The Transformer architecture [START_REF]"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

使用不同精度在 GPU 上运行模型 - FP16

# pip install accelerate
import torch
from transformers import AutoTokenizer, OPTForCausalLM

tokenizer = AutoTokenizer.from_pretrained("facebook/galactica-125m")
model = OPTForCausalLM.from_pretrained("facebook/galactica-125m", device_map="auto", torch_dtype=torch.float16)

input_text = "The Transformer architecture [START_REF]"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

使用不同精度在 GPU 上运行模型 - INT8

# pip install bitsandbytes accelerate
from transformers import AutoTokenizer, OPTForCausalLM

tokenizer = AutoTokenizer.from_pretrained("facebook/galactica-125m")
model = OPTForCausalLM.from_pretrained("facebook/galactica-125m", device_map="auto", load_in_8bit=True)

input_text = "The Transformer architecture [START_REF]"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")

outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

📚 详细文档

模型详情

GALACTICA 模型在大规模科学语料库上进行训练。这些模型旨在执行科学任务，包括但不限于引用预测、科学问答、数学推理、摘要生成、文档生成、分子属性预测和实体提取等。该模型由 Meta AI 的 Papers with Code 团队开发，用于研究语言模型在科学自动组织中的应用。我们训练了参数规模从 125M 到 120B 不等的模型。以下是已发布模型的概要：

发布日期

2022 年 11 月

模型类型

基于 Transformer 架构，采用仅解码器设置，并进行了一些修改（更多详细信息请参阅论文）。

论文与演示

论文 / 演示

模型用途

GALACTICA 模型的主要目标用户是研究将语言模型应用于科学领域的研究人员。我们也预计该模型对希望构建科学工具的开发者有用。然而，鉴于语言模型可能会产生幻觉，我们警告在没有保障措施的情况下不要用于生产环境。

训练数据

GALACTICA 模型在 1060 亿个开放获取的科学文本和数据标记上进行训练。这包括论文、教科书、科学网站、百科全书、参考资料、知识库等。我们对不同的模态进行标记，为不同的任务提供自然语言接口。更多信息请参阅 README.md 文件。完整的训练数据信息请参阅论文。

🔧 技术细节

性能与局限性

• 易产生幻觉：与其他语言模型一样，GALACTICA 经常容易产生幻觉，即使在高质量的学术语料库上训练也无法避免，尤其是对于不太流行和引用较少的科学概念。从模型生成内容时，无法保证输出的真实性。这也适用于特定的模态，如引用预测。虽然 GALACTICA 的引用行为随着规模的增大逐渐接近真实的引用行为，但在更大规模下，模型仍然表现出流行度偏差。
• 存在一定偏差：我们在与刻板印象和毒性相关的几种类型的基准测试中对模型进行了评估。总体而言，与其他大型语言模型相比，该模型的毒性率显著降低。然而，该模型在某些指标上仍然表现出偏差（详细信息请参阅论文）。因此，我们建议在使用该模型进行生成时要谨慎。

更广泛的影响

GALACTICA 有可能成为发现学术文献的新方式。我们还预计它在特定领域的应用会有很多下游用途，如数学、生物学和化学。在论文中，我们展示了该模型作为标准搜索工具替代品的几个示例。我们预计将基于 GALACTICA 等大型语言模型构建新一代的科学工具。

我们鼓励研究人员探索这些模型的有益和新的用例。然而，重要的是要意识到大型语言模型目前的局限性。研究人员应注意使用这些模型可能出现的常见问题，如幻觉和偏差。

📄 许可证

本模型采用非商业性的 CC BY - NC 4.0 许可证。

🔗 引用

@inproceedings{GALACTICA,
    title={GALACTICA: A Large Language Model for Science},
    author={Ross Taylor and Marcin Kardas and Guillem Cucurull and Thomas Scialom and Anthony Hartshorn and Elvis Saravia and Andrew Poulton and Viktor Kerkez and Robert Stojnic},
    year={2022}
}