🚀 RombUltima-32B
FINGU-AI/RombUltima-32B 是一個融合模型,它結合了 rombodawg/Rombos-LLM-V2.5-Qwen-32b 和 Sakalti/ultiima-32B 的優勢。該模型保留了 Qwen 和 Ultima 架構各自的長處,通過優化融合,提升了推理能力、多語言理解能力和多輪對話能力。
🚀 快速開始
你可以使用以下代碼運行這個模型:
import transformers
from transformers import AutoTokenizer
message = [
{"role": "system", "content": "You are a helpful AI assistant."},
{"role": "user", "content": "What is a Large Language Model?"}
]
tokenizer = AutoTokenizer.from_pretrained("FINGU-AI/RombUltima-32B")
prompt = tokenizer.apply_chat_template(message, add_generation_prompt=True, tokenize=False)
pipeline = transformers.pipeline(
"text-generation",
model="FINGU-AI/RombUltima-32B",
tokenizer=tokenizer
)
sequences = pipeline(
prompt,
do_sample=True,
temperature=0.7,
top_p=0.9,
num_return_sequences=1,
max_length=200,
)
print(sequences[0]['generated_text'])
✨ 主要特性
- 融合優勢:基於父模型的線性融合,採用等權重(各 0.5),實現了平衡融合,充分利用了 Rombos 的結構化知識和 Ultima 的增強泛化能力。
- 分詞方法:使用基於並集的分詞器,以最大化詞彙覆蓋範圍。
- 精度:以 float16 進行訓練和微調,實現高效推理。
- 長上下文支持:支持最多 32K 個標記(基於 Qwen-32B),在硬件允許的情況下,最多 8K 個標記可實現穩定生成。
- 多語言能力:在英語、法語、中文和其他全球語言中表現出色。
📚 詳細文檔
訓練與微調
RombUltima-32B 基於其父模型的線性融合,採用等權重(各 0.5),實現了平衡融合,充分利用了 Rombos 的結構化知識和 Ultima 的增強泛化能力。
- 分詞方法:使用基於並集的分詞器,以最大化詞彙覆蓋範圍。
- 精度:以 float16 進行訓練和微調,實現高效推理。
- 長上下文支持:支持最多 32K 個標記(基於 Qwen-32B),在硬件允許的情況下,最多 8K 個標記可實現穩定生成。
- 多語言能力:在英語、法語、中文和其他全球語言中表現出色。
性能與基準測試
OpenLLM 排行榜
📌 即將推出 – 與領先的大語言模型基準進行評估對比。
MT-Bench
📌 即將推出 – 多輪對話性能分析。
融合細節
- 父模型:
- 💪 rombodawg/Rombos-LLM-V2.5-Qwen-32b(權重:0.5)
- 💪 Sakalti/ultiima-32B(權重:0.5)
- 融合方法:線性融合
- 分詞器來源:基於並集
- 精度:Float16
許可與預期用途
- 許可證:遵循合併模型的原始許可證。
- 預期用途:研究、內容生成、多語言應用和通用人工智能輔助。
- 侷限性:雖然該模型在結構化推理和多語言理解方面表現出色,但仍可能存在幻覺和偏差。
📌 如需反饋和貢獻,請訪問:FINGU-AI on Hugging Face。
📄 許可證
本項目採用 MIT 許可證。