🚀 ZeroXClem-Llama-3.1-8B-AthenaSky-MegaMix
ZeroXClem-Llama-3.1-8B-AthenaSky-MegaMix は、MergeKit を使用した モデルストックマージ によって構築された強力なAIモデルです。このモデルは、Hugging Face 上で利用可能な優れたモデルを集め、推論、コーディング、ロールプレイ、命令実行など、幅広い自然言語処理タスクで高い性能を発揮します。

このモデルは、高品質の基礎モデルとファインチューニングされたモデルをマージすることで作成され、各貢献モデルの強みを保持した最適化された ブレンドアーキテクチャ を実現しています。
🚀 クイックスタート
このモデルを使用するには、以下の方法があります。
🔥 Ollama (クイック推論)
Ollama を使用してモデルを直接テストすることができます。
ollama run hf.co/ZeroXClem/Llama-3.1-8B-AthenaSky-MegaMix
🤗 Hugging Face Transformers (Python)
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
import torch
model_name = "ZeroXClem/Llama-3.1-8B-AthenaSky-MegaMix"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.bfloat16,
device_map="auto"
)
text_generator = pipeline(
"text-generation",
model=model,
tokenizer=tokenizer,
torch_dtype=torch.bfloat16,
device_map="auto"
)
prompt = "Describe the significance of AI ethics in modern technology."
outputs = text_generator(
prompt,
max_new_tokens=200,
do_sample=True,
temperature=0.7,
top_k=50,
top_p=0.95
)
print(outputs[0]["generated_text"])
✨ 主な機能
🔹 高度な推論と思考能力 - Skywork-o1
の統合により、このモデルは論理的な思考と問題解決に優れています。
🔹 対話深度の向上 - Meta-Llama-3.1-8B-Claude
の導入により、応答の構造化が改善され、対話がより魅力的になります。
🔹 多様なロールプレイと創造性 - mega_blend_model
と good_mix_model_Stock
を活用し、没入感のあるロールプレイとストーリーテリングをサポートします。
🔹 強力な命令実行能力 - 様々な命令データセットで訓練され、明確で有益な応答を提供します。
📦 インストール
このモデルのインストールに関する具体的な手順は、上記の「クイックスタート」セクションに記載されています。
💻 使用例
基本的な使用法
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
import torch
model_name = "ZeroXClem/Llama-3.1-8B-AthenaSky-MegaMix"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.bfloat16,
device_map="auto"
)
text_generator = pipeline(
"text-generation",
model=model,
tokenizer=tokenizer,
torch_dtype=torch.bfloat16,
device_map="auto"
)
prompt = "Describe the significance of AI ethics in modern technology."
outputs = text_generator(
prompt,
max_new_tokens=200,
do_sample=True,
temperature=0.7,
top_k=50,
top_p=0.95
)
print(outputs[0]["generated_text"])
📚 ドキュメント
マージの詳細
マージされたモデル
以下のモデルがこの融合に貢献しています。
設定
name: ZeroXClem-Llama-3.1-8B-AthenaSky-MegaMix
base_model: mergekit-community/L3.1-Athena-d-8B
dtype: bfloat16
merge_method: model_stock
models:
- model: Pedro13543/mega_blend_model
- model: Skywork/Skywork-o1-Open-Llama-3.1-8B
- model: Undi95/Meta-Llama-3.1-8B-Claude
- model: mergekit-community/good_mix_model_Stock
tokenizer_source: mergekit-community/L3.1-Athena-d-8B
使用例
- チャットとロールプレイ - 自然で魅力的な動的な対話フローをサポート。
- プログラミングとコード生成 - 信頼性の高いコード補完とデバッグ提案を提供。
- 創作的な執筆 - 魅力的な物語、キャラクターの対話、没入感のあるテキストを生成。
- 教育支援 - 複雑なトピックを説明し、学術的な質問に答えるのに役立つ。
- 論理と問題解決 - 推論ベースの構造化された思考プロセスを処理できる。
モデル評価結果
詳細な結果はこちらで確認できます。
属性 |
詳情 |
モデル名 |
Llama-3.1-8B-AthenaSky-MegaMix |
タスク |
テキスト生成 |
データセット |
IFEval (0-Shot), BBH (3-Shot), MATH Lvl 5 (4-Shot), GPQA (0-shot), MuSR (0-shot), MMLU-PRO (5-shot) |
評価指標 |
正確性 |
平均正確性 |
26.79 |
IFEval (0-Shot) 正確性 |
63.01 |
BBH (3-Shot) 正確性 |
31.39 |
MATH Lvl 5 (4-Shot) 正確性 |
27.95 |
GPQA (0-shot) 正確性 |
3.69 |
MuSR (0-shot) 正確性 |
6.90 |
MMLU-PRO (5-shot) 正確性 |
27.82 |
🔧 技術詳細
このモデルは、複数の高品質なベースモデルを model_stock
メソッドを使用してマージすることで作成されています。各ベースモデルは、特定のタスクや能力に特化しており、これらを組み合わせることで、幅広いNLPタスクでの高性能を実現しています。
📄 ライセンス
このモデルは Meta Llama 3.1 Community License Agreement に基づいて管理されています。
重要提示
⚠️ 重要提示
このモデルは厳格なモデレーションを適用していません。デプロイ前に適切な セーフティフィルター を実装する必要があります。
⚠️ 責任に関する通知
このモデルが生成する出力に対して責任を負います。このモデルをアプリケーションに統合する際には、倫理的なセーフガード と コンテンツモデレーション を適用することをお勧めします。
フィードバックと貢献
フィードバック、バグレポート、性能評価を歓迎します!改善点を見つけた場合や貢献したい場合は、お気軽に連絡してください。
ZeroXClem Team | 2025 