Romboultima 32B

🚀 RombUltima-32B

FINGU-AI/RombUltima-32B は、rombodawg/Rombos-LLM-V2.5-Qwen-32b と Sakalti/ultiima-32B を統合したモデルです。このモデルは、Qwen と Ultima の両方のアーキテクチャの個々の強みを維持しながら、最適化された融合により、推論能力、多言語理解能力、マルチターン会話能力を向上させています。

🚀 クイックスタート

RombUltima-32B を使用するには、以下のコードを実行できます。

基本的な使用法

import transformers
from transformers import AutoTokenizer

# Format prompt
message = [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": "What is a Large Language Model?"}
]
tokenizer = AutoTokenizer.from_pretrained("FINGU-AI/RombUltima-32B")
prompt = tokenizer.apply_chat_template(message, add_generation_prompt=True, tokenize=False)

# Create pipeline
pipeline = transformers.pipeline(
    "text-generation",
    model="FINGU-AI/RombUltima-32B",
    tokenizer=tokenizer
)

# Generate text
sequences = pipeline(
    prompt,
    do_sample=True,
    temperature=0.7,
    top_p=0.9,
    num_return_sequences=1,
    max_length=200,
)
print(sequences[0]['generated_text'])

✨ 主な機能

• トークン化アプローチ：ボキャブラリのカバレッジを最大化するために、ユニオンベースのトークナイザー を使用しています。
• 精度：効率的な推論のために、float16 でトレーニングおよびファインチューニングされています。
• 長文脈サポート：（Qwen-32Bに基づいて）最大 32Kトークン をサポートし、ハードウェアの制約に応じて、最大 8Kトークン まで安定した生成が可能です。
• 多言語対応：英語、フランス語、中国語 などの世界各国の言語で高い性能を発揮します。

📚 ドキュメント

トレーニングとファインチューニング

RombUltima-32B は、その親モデルを 線形マージ し、均等な重み付け（それぞれ0.5）を使用しています。これにより、Rombos の構造化された知識と Ultima の拡張された汎化能力を活用した バランスの取れた融合 が実現されています。

性能とベンチマーク

OpenLLM Leaderboard

📋 近日公開予定 – 主要なLLMベンチマークとの評価。

MT-Bench

📋 近日公開予定 – マルチターン会話性能の分析。

マージの詳細

ライセンスと使用目的

• ライセンス：統合されたモデルの元のライセンスに準拠します。
• 使用目的：研究、コンテンツ生成、多言語アプリケーション、および汎用的なAIアシスタント。
• 制限事項：このモデルは構造化された推論と多言語理解に優れていますが、幻覚やバイアスが依然として存在する可能性があります。

📋 フィードバックや貢献については、FINGU-AI on Hugging Face をご覧ください。