Cycleresearcher 12B Original

🚀 CycleResearcher：基于迭代反馈强化学习的自动化研究工具

CycleResearcher是一款通过迭代反馈强化学习实现自动化研究的模型。它能依据提供的文献生成科研论文，涵盖从分析文献、提出研究思路到撰写论文各部分内容等一系列流程，为科研工作提供有力支持。

🚀 快速开始

安装

pip install cycleresearcher
pip install torch>=2.0.0
pip install transformers>=4.44.0
pip install vllm  # 可选，用于更快推理

使用示例

基础用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# 初始化模型
model_name = "WestlakeNLP/CycleResearcher-12B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto",
    max_memory={i: "24GiB" for i in range(torch.cuda.device_count())},
)

# 生成参数
generation_config = {
    "max_length": 19000,
    "temperature": 0.1,
    "top_p": 0.95,
    "pad_token_id": None,
    "do_sample": True,
}

# 准备系统提示和输入
system_prompt = """You are a research assistant AI tasked with generating a scientific paper based on provided literature. Follow these steps:
1. Analyze the given References. 
2. Identify gaps in existing research to establish the motivation for a new study.
3. Propose a main idea for a new research work.
4. Write the paper's main content in LaTeX format, including:
 - Title
 - Abstract
 - Introduction
 - Related Work
 - Methods/
5. Generate experimental setup details in JSON format to guide researchers.
6. After receiving experimental results in JSON format, analyze them.
7. Complete the paper by writing:
 - Results
 - Discussion
 - Conclusion
 - Contributions
Ensure all content is original, academically rigorous, and follows standard scientific writing conventions."""

# 参考输入应为BibTeX格式
references = """@article{Qiu2020PretrainedMF,
  title={Pre-trained models for natural language processing: A survey},
  author={Xipeng Qiu and Tianxiang Sun and Yige Xu and Yunfan Shao and Ning Dai and Xuanjing Huang},
  journal={Science China Technological Sciences},
  year={2020},
  volume={63},
  pages={1872 - 1897}
}
@article{Long2022VisionandLanguagePM,
  title={Vision-and-Language Pretrained Models: A Survey},
  author={Siqu Long and Feiqi Cao and Soyeon Caren Han and Haiqing Yang},
  journal={IJCAI},
  year={2022},
}
@inproceedings{Klicpera2019DiffusionIG,
  title={Diffusion Improves Graph Learning},
  author={Johannes Klicpera and Stefan Wei{\ss}enberger and Stephan G{\"u}nnemann},
  booktitle={Neural Information Processing Systems},
  year={2019}
  
The above content represents the relevant literature in this field. Please analyze it and provide the motivation and main idea. Then, provide the Title, Abstract, Introduction, Related Work, and Methods sections in LaTeX format."""

messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": references}
]

# 生成论文
prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, **generation_config)
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)

高级用法

from vllm import LLM, SamplingParams

# 使用VLLM初始化模型
model = LLM(
    model="WestlakeNLP/CycleResearcher-12B",
    tensor_parallel_size=8,
    max_model_len=15000,
    gpu_memory_utilization=0.95,
)

# 生成参数
sampling_params = SamplingParams(
    temperature=0.4,
    top_p=0.95,
    max_tokens=4096
)

# 生成论文
outputs = model.generate([prompt], sampling_params)

✨ 主要特性

• 多语言支持：支持英语、中文、日语、韩语、法语和德语等多种语言。
• 多领域适用：ML系列专门为机器学习研究（包括计算机视觉、自然语言处理和多媒体）训练，Science系列将扩展到更广泛的科学领域（即将推出）。
• 严格使用限制：所有模型及其衍生产品在未适当披露AI辅助的情况下，不得用于生成论文，并提供基于FastDetectGPT的工具来检测模型的潜在滥用情况。

📦 安装指南

依赖安装

pip install cycleresearcher
pip install torch>=2.0.0
pip install transformers>=4.44.0
pip install vllm  # 可选，用于更快推理

系统要求

📚 详细文档

模型规格

模型信息

CycleResearcher模型系列包括两个主要变体：

1. ML系列：专门为机器学习研究训练，包括计算机视觉（CV）、自然语言处理（NLP）和多媒体（MM）。
2. Science系列：将扩展到更广泛的科学领域（即将推出）。

所有模型均在Research-8k数据集上进行了广泛训练，并使用CycleReviewer反馈循环进行了优化。根据许可协议，所有模型及其衍生产品在未适当披露AI辅助的情况下，不得用于生成论文。同时，提供了基于FastDetectGPT的工具来检测模型的潜在滥用情况。

模型发布日期：2024年10月
知识截止日期：2024年10月

开源许可

本仓库中的代码遵循Apache-2.0许可协议开源。模型权重遵循CycleResearcher-License许可协议开源。

模型性能

由CycleReviewer评估的科研论文生成结果：

检测CycleResearcher的滥用情况

为确保模型的负责任使用，实现了Fast-DetectGPT方法来分类论文是否为机器生成。不同格式下的检测性能比较。人类样本来自Research-8k和Reviewer-5k的测试集。

输入数据格式

CycleResearcher期望参考输入为带有摘要的BibTeX格式。示例格式：

@article{example2023,
    title = {Sample Paper Title},
    author = {Author, A. and Author, B.},
    journal = {Journal Name},
    year = {2024},
    abstract = {This is a sample abstract that provides context...}
}

Abstract: This is a sample abstract that provides context...
@article{example2024,
    title = {Sample Paper Title},
    author = {Author, A. and Author, B.},
    journal = {Journal Name},
    year = {2024},
}

输出格式

模型生成的输出具有以下结构：

{
    'title': 'Paper title',
    'abstract': 'Paper abstract',
    'latex': 'Main paper content in LaTeX format',
    'motivation': 'Research motivation',
    'idea': 'Main research idea',
    'Experimental_Setup': 'Experiment configuration (JSON/text)',
    'Experimental_results': 'Results and findings (JSON/text)',
    'generated_text': 'Complete raw generated text'
}

训练和评估数据集

• Research-8k：包含12,696个训练样本和802个测试样本。
• Review-5k：包含4,970篇论文和超过16,000条评审意见。

如需访问这些数据集，请联系wengsyx@gmail.com。

📄 许可证

代码遵循Apache 2.0许可协议发布。模型的使用需遵循CycleResearcher-License许可协议。

引用

@inproceedings{cycleresearcher2024,
  title={CycleResearcher: Improving Automated Research via Automated Review},
  author={Anonymous Authors},
  booktitle={International Conference on Learning Representations},
  year={2025}
}

联系我们

如有问题和反馈，请：

• 在GitHub上提交问题。
• 联系wengsyx@gmail.com。

⚠️ 重要提示

此为研究预览版发布，功能和能力可能会频繁更新。

💡 使用建议

下载原始版本的模型需要人工审核，除非您能提供详细的研究计划和具体的使用原因，否则我们将不会批准您下载和分发该模型。您可以直接下载具有额外安全对齐的模型：https://huggingface.co/WestlakeNLP/CycleResearcher-12B ，对于安全版本的模型，您只需提供必要信息，下载将自动获得批准。