Apollo2 7B GGUF

🚀 QuantFactory/Apollo2-7B-GGUF

這是使用 llama.cpp 創建的 FreedomIntelligence/Apollo2-7B 的量化版本，旨在為更多語言的醫學大語言模型提供支持，覆蓋了包括英語、中文、法語等多種主要語言以及眾多小語種。

🚀 快速開始

模型下載與推理

我們以 Apollo-MoE-0.5B 為例：

1. 登錄 Huggingface

huggingface-cli login --token $HUGGINGFACE_TOKEN

2. 將模型下載到本地目錄

from huggingface_hub import snapshot_download
import os

local_model_dir=os.path.join('/path/to/models/dir','Apollo-MoE-0.5B')
snapshot_download(repo_id="FreedomIntelligence/Apollo-MoE-0.5B", local_dir=local_model_dir)

3. 推理示例

from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
import os

local_model_dir=os.path.join('/path/to/models/dir','Apollo-MoE-0.5B')

model=AutoModelForCausalLM.from_pretrained(local_model_dir,trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(local_model_dir,trust_remote_code=True)
generation_config = GenerationConfig.from_pretrained(local_model_dir, pad_token_id=tokenizer.pad_token_id, num_return_sequences=1, max_new_tokens=7, min_new_tokens=2, do_sample=False, temperature=1.0, top_k=50, top_p=1.0)

inputs = tokenizer('Answer direclty.\nThe capital of Mongolia is Ulaanbaatar.\nThe capital of Iceland is Reykjavik.\nThe capital of Australia is', return_tensors='pt')
inputs = inputs.to(model.device)
pred = model.generate(**inputs,generation_config=generation_config)
print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

結果復現

✨ 主要特性

• 多語言覆蓋：涵蓋 12 種主要語言（英語、中文、法語、印地語、西班牙語、阿拉伯語、俄語、日語、韓語、德語、意大利語、葡萄牙語）和 38 種小語種。
• 醫學領域支持：專注於醫學領域，適用於生物學、醫學等相關問題的問答。

📦 安裝指南

請參考上述“快速開始”部分中的模型下載與推理步驟。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
import os

local_model_dir=os.path.join('/path/to/models/dir','Apollo-MoE-0.5B')

model=AutoModelForCausalLM.from_pretrained(local_model_dir,trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(local_model_dir,trust_remote_code=True)
generation_config = GenerationConfig.from_pretrained(local_model_dir, pad_token_id=tokenizer.pad_token_id, num_return_sequences=1, max_new_tokens=7, min_new_tokens=2, do_sample=False, temperature=1.0, top_k=50, top_p=1.0)

inputs = tokenizer('Answer direclty.\nThe capital of Mongolia is Ulaanbaatar.\nThe capital of Iceland is Reykjavik.\nThe capital of Australia is', return_tensors='pt')
inputs = inputs.to(model.device)
pred = model.generate(**inputs,generation_config=generation_config)
print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

📚 詳細文檔

原始模型卡片

為更多語言普及醫學大語言模型

目前已覆蓋 12 種主要語言和 38 種小語種。

論文 • 演示 • ApolloMoEDataset • ApolloMoEBench • 模型 • Apollo • ApolloMoE

更新日誌

• [2024.10.15] ApolloMoE 倉庫已發佈。

語言覆蓋範圍

涵蓋 12 種主要語言和 38 種小語種。

架構

結果

密集模型

• Apollo2-0.5B
• Apollo2-1.5B
• Apollo2-2B
• Apollo2-3.8B
• Apollo2-7B
• Apollo2-9B

後 MoE 模型

• Apollo-MoE-0.5B
• Apollo-MoE-1.5B
• Apollo-MoE-7B

使用格式

Apollo2

• 0.5B、1.5B、7B：User:{query}\nAssistant:{response}<|endoftext|>
• 2B、9B：User:{query}\nAssistant:{response}<eos>
• 3.8B：<|user|>\n{query}<|end|><|assisitant|>\n{response}<|end|>

Apollo-MoE

• 0.5B、1.5B、7B：User:{query}\nAssistant:{response}<|endoftext|>

數據集與評估

數據集

• ApolloMoEDataset

評估

• ApolloMoEBench

📄 許可證

本項目採用 Apache-2.0 許可證。

📚 引用

如果您打算使用我們的數據集進行訓練或評估，請使用以下引用：

@misc{zheng2024efficientlydemocratizingmedicalllms,
      title={Efficiently Democratizing Medical LLMs for 50 Languages via a Mixture of Language Family Experts}, 
      author={Guorui Zheng and Xidong Wang and Juhao Liang and Nuo Chen and Yuping Zheng and Benyou Wang},
      year={2024},
      eprint={2410.10626},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2410.10626}, 
}

📋 信息表格