Jiuzhou Base

🚀 九州：面向地球科學的開源基礎語言模型

本項目聚焦地球科學領域，利用基礎語言模型從海量數據中提取與整合知識，以應對全球變化挑戰、推動可持續發展和加速科學發現。通過持續預訓練和指令微調，構建了高精度、實用性強的地球科學基礎語言模型——九州。

🚀 快速開始

推理示例

以下是使用 JiuZhou-Instruct-v0.2 進行推理的代碼示例：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

device = torch.device("cuda:0") if torch.cuda.is_available() else torch.device("cpu")

model_path = "itpossible/JiuZhou-Instruct-v0.2"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map=device)

text = "What is geoscience?"
messages = [{"role": "user", "content": text}]

inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(device)
outputs_id = model.generate(inputs, max_new_tokens=600, do_sample=True)
outputs = tokenizer.batch_decode(outputs_id, skip_special_tokens=True)[0]
print(outputs)

✨ 主要特性

• 專業知識豐富：基於大規模地球科學語料庫持續預訓練，模型具備豐富的地球科學專業知識。
• 性能卓越：在地球科學任務和通用任務的評估中，均展現出出色的性能，超越了多個基線模型。
• 框架先進：採用了特定領域大語言模型預訓練框架（PreparedLLM）和“兩階段預適應預訓練”算法，提升了模型的訓練效率和性能。

📦 安裝指南

項目部署

git clone https://github.com/THU-ESIS/JiuZhou.git
cd JiuZhou
pip install -e ".[torch,metrics]"

模型訓練

預訓練

llamafactory-cli train examples/train_lora/JiuZhou_pretrain_sft.yaml

指令微調

llamafactory-cli train examples/train_lora/JiuZhou_lora_sft.yaml

與微調後的模型交互

llamafactory-cli chat examples/inference/JiuZhou_lora_sft.yaml

合併指令微調後的 LoRA 權重與原始模型權重

llamafactory-cli export examples/merge_lora/JiuZhou_lora_sft.yaml

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

device = torch.device("cuda:0") if torch.cuda.is_available() else torch.device("cpu")

model_path = "itpossible/JiuZhou-Instruct-v0.2"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map=device)

text = "What is geoscience?"
messages = [{"role": "user", "content": text}]

inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(device)
outputs_id = model.generate(inputs, max_new_tokens=600, do_sample=True)
outputs = tokenizer.batch_decode(outputs_id, skip_special_tokens=True)[0]
print(outputs)

📚 詳細文檔

模型下載

模型性能

地球科學能力

使用 GeoBench 基準測試評估九州模型的性能。在客觀任務中，九州模型的表現優於 GPT-3.5：

在主觀任務的六項標準中，九州模型的得分也高於基線模型：

通用能力

使用 C-Eval、CMMLU 和 MMLU 三個基準數據集評估九州模型的性能。與 Llama 和 Mistral 模型的其他變體相比，九州模型表現出色：

模型訓練過程

訓練語料庫

語料庫由 5000 萬篇通用文檔和 340 萬篇地球科學相關文檔組成。

訓練框架

使用本研究提出的九州框架。

兩階段預適應預訓練（TSPT）

TSPT 提高了有限地球科學數據的使用效率，克服了大語言模型持續預訓練中的一些技術瓶頸。 TSPT 與單階段訓練算法的區別：

TSPT 與單階段預訓練算法性能對比：

🔧 技術細節

本研究以 Mistral-7B-v0.1 為基礎模型，在大規模地球科學語料庫上繼續預訓練。同時，引入了 特定領域大語言模型預訓練框架（PreparedLLM） 和“兩階段預適應預訓練”算法，構建了地球科學大語言模型——九州。

📄 許可證

文檔中未提及相關許可證信息。

📚 引用

@article{chen2024preparedllm,
  author = {Chen, Zhou and Lin, Ming and Wang, Zimeng and Zang, Mingrun and Bai, Yuqi},
  title = {PreparedLLM: Effective Pre-pretraining Framework for Domain-specific Large Language Models},
  year = {2024},
  journal = {Big Earth Data},
  pages = {1--24},
  doi = {10.1080/20964471.2024.2396159},
  url = {https://doi.org/10.1080/20964471.2024.2396159}
}

🙏 致謝

• LLaMA-Factory
• OpenCompass
• K2
• GeoGalactica
• BB-GeoGPT

🎉 最新消息

• [2024-12-31] 論文 JiuZhou: Open Foundation Language Models and Effective Pre-training Framework for Geoscience 已被 International Journal of Digital Earth 接收發表。代碼與數據。
• [2024-10-11] 微信文章：PreparedLLM: Effective Pre-pretraining Framework for Domain-specific Large Language Models。
• [2024-09-06] 發佈 ClimateChat 指令模型。
• [2024-08-31] 論文 PreparedLLM: Effective Pre-pretraining Framework for Domain-specific Large Language Models 已被 Big Earth Data 期刊接收發表。
• [2024-08-31] 發佈 Chinese-Mistral-7B-Instruct-v0.2 指令模型。在語言理解和多輪對話能力方面有顯著提升。
• [2024-06-30] 發佈 JiuZhou-Instruct-v0.2 指令模型。在語言理解和多輪對話能力方面有顯著提升。
• [2024-05-15] 微信文章：Chinese Vocabulary Expansion Incremental Pretraining for Large Language Models: Chinese-Mistral Released。
• [2024-04-04] 發佈 Chinese-Mistral-7B-Instruct-v0.1 指令模型。
• [2024-03-31] 發佈 Chinese-Mistral-7B-v0.1 基礎模型。
• [2024-03-15] 發佈基礎版本 JiuZhou-base、指令版本 JiuZhou-instruct-v0.1 和 中間檢查點。