Romboultima 32B

🚀 RombUltima-32B

FINGU-AI/RombUltima-32B 是一个融合模型，它结合了 rombodawg/Rombos-LLM-V2.5-Qwen-32b 和 Sakalti/ultiima-32B 的优势。该模型保留了 Qwen 和 Ultima 架构各自的长处，通过优化融合，提升了推理能力、多语言理解能力和多轮对话能力。

🚀 快速开始

你可以使用以下代码运行这个模型：

import transformers
from transformers import AutoTokenizer

# Format prompt
message = [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": "What is a Large Language Model?"}
]
tokenizer = AutoTokenizer.from_pretrained("FINGU-AI/RombUltima-32B")
prompt = tokenizer.apply_chat_template(message, add_generation_prompt=True, tokenize=False)

# Create pipeline
pipeline = transformers.pipeline(
    "text-generation",
    model="FINGU-AI/RombUltima-32B",
    tokenizer=tokenizer
)

# Generate text
sequences = pipeline(
    prompt,
    do_sample=True,
    temperature=0.7,
    top_p=0.9,
    num_return_sequences=1,
    max_length=200,
)
print(sequences[0]['generated_text'])

✨ 主要特性

• 融合优势：基于父模型的线性融合，采用等权重（各 0.5），实现了平衡融合，充分利用了 Rombos 的结构化知识和 Ultima 的增强泛化能力。
• 分词方法：使用基于并集的分词器，以最大化词汇覆盖范围。
• 精度：以 float16 进行训练和微调，实现高效推理。
• 长上下文支持：支持最多 32K 个标记（基于 Qwen-32B），在硬件允许的情况下，最多 8K 个标记可实现稳定生成。
• 多语言能力：在英语、法语、中文和其他全球语言中表现出色。

📚 详细文档

训练与微调

RombUltima-32B 基于其父模型的线性融合，采用等权重（各 0.5），实现了平衡融合，充分利用了 Rombos 的结构化知识和 Ultima 的增强泛化能力。

• 分词方法：使用基于并集的分词器，以最大化词汇覆盖范围。
• 精度：以 float16 进行训练和微调，实现高效推理。
• 长上下文支持：支持最多 32K 个标记（基于 Qwen-32B），在硬件允许的情况下，最多 8K 个标记可实现稳定生成。
• 多语言能力：在英语、法语、中文和其他全球语言中表现出色。

性能与基准测试

OpenLLM 排行榜

📌 即将推出 – 与领先的大语言模型基准进行评估对比。

MT-Bench

📌 即将推出 – 多轮对话性能分析。

融合细节

• 父模型：
  • 💪 rombodawg/Rombos-LLM-V2.5-Qwen-32b（权重：0.5）
  • 💪 Sakalti/ultiima-32B（权重：0.5）
• 融合方法：线性融合
• 分词器来源：基于并集
• 精度：Float16

许可与预期用途

• 许可证：遵循合并模型的原始许可证。
• 预期用途：研究、内容生成、多语言应用和通用人工智能辅助。
• 局限性：虽然该模型在结构化推理和多语言理解方面表现出色，但仍可能存在幻觉和偏差。

📌 如需反馈和贡献，请访问：FINGU-AI on Hugging Face。

📄 许可证

本项目采用 MIT 许可证。